Transformers

Resumen

El Transformer, presentado en el paper "Attention Is All You Need" (Vaswani et al., 2017), reemplazó las redes recurrentes (RNN, LSTM) por un mecanismo de atención que procesa toda la secuencia en paralelo. La arquitectura tiene dos bloques: encoder (procesa el input) y decoder (genera el output). GPT usa solo decoder; BERT usa solo encoder.

La innovación clave es self-attention: cada token mira a todos los demás tokens de la secuencia para entender el contexto. "El perro ladró porque tenía hambre" — self-attention conecta "perro" con "tenía", entendiendo que el perro es quien tenía hambre, no otra palabra cercana. Esto permite capturar dependencias de largo alcance que las RNN no podían.

Alcance y supuestos

Cubre la arquitectura Transformer, self-attention, y su rol como base de los LLMs modernos. Asume familiaridad con conceptos básicos de ML.

Modelo mental

Un equipo de traductores trabajando en un documento. En vez de traducir palabra por palabra en orden, cada traductor lee el documento entero y subraya qué partes son relevantes para su trabajo. Después, todos comparten sus subrayados y producen la traducción colaborativamente.

Uso práctico

• ✅ GPT, Claude, Gemini, LLaMA — todos basados en Transformers.
• ❌ No es una herramienta que "usás": es la arquitectura que usan las herramientas.

Ejemplo trabajado: self-attention simplificada

En "El gato se comió el pescado porque estaba delicioso", self-attention asigna pesos altos entre "delicioso" y "pescado", entendiendo que el pescado es lo delicioso, no el gato.

Evidencia

• "Attention Is All You Need" (2017) es uno de los papers más citados en la historia de la IA.