LLM

Resumen

LLM significa large language model: un modelo grande de lenguaje capaz de procesar entradas en lenguaje natural y generar texto, código, resúmenes, clasificaciones o respuestas conversacionales. Técnicamente trabaja con tokens, no con palabras completas, y produce salida prediciendo continuaciones probables condicionadas por el contexto recibido.

Importa porque los LLMs son la pieza base de muchas aplicaciones modernas de IA: chatbots, asistentes internos, RAG, agentes IA, generación de contenido, análisis de documentos y automatización de soporte. Pero no son una base de datos ni una fuente perfecta de verdad. Su utilidad depende de cómo se les entrega contexto, cómo se evalúan sus salidas y qué límites operativos se diseñan alrededor.

Alcance y supuestos

Este paquete cubre LLMs a nivel conceptual: tokens, prompt, contexto, generación, capacidades comunes y límites prácticos. También ubica conceptos vecinos como inferencia, RAG, embeddings y fine-tuning.

No cubre arquitectura Transformer en detalle, entrenamiento distribuido, benchmarks completos, selección exhaustiva de modelos ni optimización de GPU. Asume que entiendes llamadas API, prompts y que una aplicación puede enviar entrada a un modelo para recibir una salida.

Modelo mental

Piensa en un completador de texto extremadamente entrenado, como un copiloto que leyó muchísimos patrones de lenguaje y código. Le das una conversación, instrucciones y contexto; él intenta continuar de la forma más plausible y útil según esos ejemplos internos y lo que ve en la entrada actual.

La clave es que el LLM no "consulta" su entrenamiento como una tabla exacta. Sus pesos contienen patrones aprendidos. Cuando recibe un prompt, convierte el texto en tokens, atiende al contexto disponible y genera nuevos tokens uno por uno. Por eso puede razonar de forma útil en muchos casos, pero también puede sonar convincente cuando no tiene evidencia suficiente.

El contexto es su mesa de trabajo. Si la mesa tiene instrucciones claras, datos correctos y ejemplos relevantes, el resultado mejora. Si la mesa tiene datos ambiguos, contradictorios o insuficientes, el modelo puede completar huecos con suposiciones.

Uso práctico

Usa un LLM cuando el problema tiene una fuerte dimensión de lenguaje, criterio o transformación flexible:

• ✅ Resumir tickets, redactar respuestas, extraer campos de documentos o convertir requisitos en borradores técnicos.
• ✅ Clasificar texto cuando las reglas son semánticas y difíciles de cubrir con condicionales rígidos.
• ❌ No lo uses como única fuente para datos actuales, privados o auditables; usa RAG, herramientas o bases estructuradas.
• ❌ No asumas que una respuesta fluida es correcta; valida formato, evidencia, permisos y casos borde.

Ejemplo trabajado: decidir si un LLM basta o necesita contexto externo

Supón que una app debe responder: "¿puedo devolver este producto si lo compré hace 22 días?". El LLM puede redactar bien, pero la respuesta correcta depende de una política concreta.

Una llamada directa podría verse así:

type LlmRequest = {
  system: string;
  user: string;
  maxTokens: number;
};

const directRequest: LlmRequest = {
  system: "Responde como asistente de ecommerce.",
  user: "¿Puedo devolver este producto si lo compré hace 22 días?",
  maxTokens: 200,
};

El problema es que el modelo puede inventar una política general. Para una respuesta confiable, conviene darle contexto recuperado o estructurado:

const policyContext = `
Política de devoluciones:
- Productos estándar: devolución hasta 30 días desde la compra.
- Productos personalizados: no admiten devolución.
- La devolución requiere boleta o número de orden.
`;

const groundedRequest: LlmRequest = {
  system: "Responde solo usando la política entregada. Si falta información, dilo.",
  user: `Contexto:\n${policyContext}\n\nPregunta: ¿Puedo devolver este producto si lo compré hace 22 días?`,
  maxTokens: 200,
};

El LLM sigue siendo el generador, pero ahora trabaja con evidencia explícita. Puede responder algo como: "Sí, si es un producto estándar y tienes boleta o número de orden; si es personalizado, la política no permite devolución".

La decisión práctica es separar capacidad lingüística de conocimiento disponible:

1. ¿La tarea requiere redactar, transformar, clasificar o razonar sobre lenguaje? Un LLM puede servir.
2. ¿La respuesta depende de datos privados o actuales? Agrega RAG o herramientas.
3. ¿Necesitas comportamiento repetible en un formato específico? Evalúa prompting, structured outputs o fine-tuning.
4. ¿La latencia y costo importan? Diseña inferencia, límites de tokens y fallback.
5. ¿El error tiene impacto alto? Agrega validación, revisión humana o reglas determinísticas.

Un LLM es potente cuando está integrado en un sistema con contexto y control. Aislado, puede ser útil para exploración, pero frágil para producción.

Evidencia

• Google Machine Learning Crash Course, Introduction to Large Language Models introduce LLMs, tokens, n-grams y Transformers como conceptos base para entender modelos de lenguaje modernos.
• OpenAI API, Key concepts explica tokens como unidades que los modelos procesan y describe conceptos centrales de generación de texto y embeddings.
• IBM Think, What Are Large Language Models? define LLMs como sistemas de IA capaces de entender y generar lenguaje humano procesando grandes volúmenes de datos de texto.