Mecanismo de Atención

Resumen

El mecanismo de atención es la operación central de los Transformers. Para cada token de salida, el modelo calcula qué tokens de entrada son relevantes y les asigna un peso. "Atención" es simplemente un promedio ponderado: en lugar de tratar todos los inputs por igual, el modelo presta más atención a unos que a otros.

En self-attention, el input y el output son la misma secuencia: cada token pregunta "¿qué otros tokens en esta oración son relevantes para entenderme?". La fórmula Attention(Q, K, V) = softmax(QK^T / sqrt(dk)) V es el corazón matemático: Query (lo que busco), Key (lo que ofrezco), Value (lo que aporto).

Alcance y supuestos

Cubre atención como mecanismo, self-attention, multi-head attention y su rol en Transformers. Asume familiaridad con conceptos de ML.

Modelo mental

Leer un contrato legal buscando cláusulas de rescisión. No leés cada palabra con igual atención: tus ojos buscan "rescisión", "terminación", "cancelación" y cuando aparecen, te detenés a leer con más cuidado. El mecanismo de atención hace exactamente eso: enfocarse en lo relevante.

Uso práctico

• ✅ Self-attention es lo que permite a los LLMs entender contexto de párrafos enteros.
• ❌ No es algo que configurás manualmente: el modelo aprende los pesos de atención durante el entrenamiento.

Ejemplo trabajado: atención en traducción

Al traducir "I love you" → "Te quiero", al generar "quiero", el modelo presta más atención a "love" que a "I" o "you".

Evidencia

• El paper "Attention Is All You Need" introdujo self-attention como reemplazo de recurrencia.