Inferencia

Resumen

Inferencia es el momento en que un modelo ya entrenado recibe una entrada nueva y produce una salida. En una aplicación con LLMs, ocurre cuando envías mensajes, instrucciones o contexto al modelo y este genera tokens de respuesta.

Importa porque casi todo el producto visible vive en inferencia. El usuario no ve el entrenamiento; ve cuánto demora la respuesta, cuánto cuesta cada request, si el resultado cumple formato, si el modelo usa bien el contexto y si falla bajo carga. Diseñar inferencia es diseñar el comportamiento operativo del modelo en producción.

Alcance y supuestos

Este paquete cubre inferencia a nivel conceptual: entrada, salida, tokens, decoding, temperatura, latencia, throughput, batching, serving y trade-offs de producción para aplicaciones de IA.

No cubre entrenamiento, fine-tuning interno, optimización de kernels GPU, cuantización detallada ni benchmarking profundo de servidores de inferencia. Asume que entiendes prompts, APIs de modelos, tokens y flujos básicos de aplicaciones LLM.

Modelo mental

Piensa en una cocina de restaurante. La receta ya existe y el chef ya fue entrenado. Inferencia es cada pedido real que entra: leer la orden, elegir ingredientes disponibles, cocinar, emplatar y entregar dentro de un tiempo aceptable.

La calidad no depende solo de saber cocinar. También depende de cuán clara es la orden, cuánta información llega, qué temperatura usa el horno, cuántos pedidos hay en cola y si la cocina está diseñada para operar bajo presión.

Con modelos ocurre algo parecido. El modelo base y su entrenamiento importan, pero en inferencia decides el prompt, el contexto, los parámetros de generación, límites de tokens, herramientas disponibles, retries, timeouts, caching y servidores donde corre. Esas decisiones definen costo, latencia y confiabilidad.

Uso práctico

Diseña inferencia cuando conviertes un modelo en una experiencia usable:

• ✅ Ajustar temperatura, maxTokens y formato de salida puede mejorar consistencia sin reentrenar el modelo.
• ✅ Medir latencia p95, costo por request y tasa de errores ayuda a decidir si necesitas caching, batching o un modelo más pequeño.
• ❌ Si el modelo no conoce datos actualizados, tocar parámetros de inferencia no reemplaza RAG o herramientas.
• ❌ Si el comportamiento deseado exige criterios repetibles aprendidos de ejemplos, solo cambiar el prompt puede no reemplazar fine-tuning.

Ejemplo trabajado: elegir parámetros de inferencia para un endpoint de soporte

Supón que tienes un endpoint que responde tickets de soporte. El modelo debe ser útil, rápido y consistente. No basta con elegir "el mejor modelo"; necesitas configurar la llamada.

type InferenceRequest = {
  model: string;
  messages: { role: "system" | "user"; content: string }[];
  temperature: number;
  maxTokens: number;
  timeoutMs: number;
};

const request: InferenceRequest = {
  model: "support-small",
  messages: [
    {
      role: "system",
      content: "Responde en español, breve, con pasos accionables y sin inventar políticas.",
    },
    {
      role: "user",
      content: "No puedo cambiar mi tarjeta de pago",
    },
  ],
  temperature: 0.2,
  maxTokens: 300,
  timeoutMs: 8000,
};

Cada campo afecta la operación:

• model define capacidad, costo y velocidad base.
• messages define la tarea y el contexto disponible.
• temperature controla variación; baja temperatura favorece consistencia.
• maxTokens limita longitud, costo y tiempo de generación.
• timeoutMs evita que una request lenta bloquee indefinidamente la experiencia.

Luego puedes envolver la llamada con medición mínima:

type InferenceResult = {
  output: string;
  latencyMs: number;
  inputTokens: number;
  outputTokens: number;
};

async function runInference(request: InferenceRequest): Promise<InferenceResult> {
  const startedAt = performance.now();

  const output = "Para cambiar tu tarjeta, entra a Facturación > Métodos de pago.";

  return {
    output,
    latencyMs: performance.now() - startedAt,
    inputTokens: 42,
    outputTokens: 16,
  };
}

En producción, esos números permiten tomar decisiones. Si latencyMs sube, puedes reducir contexto, usar streaming, cachear respuestas, bajar maxTokens o mover tráfico a otro proveedor. Si la salida falla formato, puedes usar structured outputs, validación o retries. Si falta información, necesitas recuperación o herramientas, no solo más tokens.

Antes de cambiar la infraestructura, revisa cinco preguntas:

1. ¿Qué calidad mínima necesita la respuesta para ser aceptable?
2. ¿Cuál es la latencia objetivo: promedio, p95 y timeout?
3. ¿Cuánto cuesta cada request y qué parte viene de tokens de entrada o salida?
4. ¿Qué fallas esperas: timeout, rate limit, formato inválido, alucinación o contexto insuficiente?
5. ¿Qué puedes resolver con parámetros, prompt, caching, RAG, modelo más pequeño o fine-tuning?

La inferencia bien diseñada convierte un modelo capaz en un producto operable. La inferencia improvisada convierte incluso un buen modelo en una experiencia lenta, cara o impredecible.

Evidencia

• OpenAI API, Text generation documenta cómo generar texto desde entradas de usuario y controlar formatos de salida en llamadas de modelo.
• Hugging Face, Inference Providers describe servicios para acceder a modelos de machine learning vía proveedores de inferencia.
• NVIDIA Triton Inference Server documentation presenta Triton como servidor para desplegar modelos de múltiples frameworks para inferencia.