Apache Kafka

Resumen

Apache Kafka es mucho más que un message broker: es un log distribuido, particionado y replicado. Los productores escriben eventos en topics, que se dividen en particiones. Los consumidores leen eventos en orden dentro de cada partición. A diferencia de los brokers tradicionales que eliminan mensajes después de entregarlos, Kafka los retiene por un tiempo configurable —horas, días, indefinidamente—.

Esto permite que nuevos consumidores lean eventos históricos, reprocesen datos, y reconstruyan estado —la base de Event Sourcing y CQRS—. Kafka escala horizontalmente particionando topics entre brokers y replica datos para tolerancia a fallos.

Alcance y supuestos

Cubre Kafka como plataforma de streaming, su modelo de topics/particiones, y casos de uso. Asume familiaridad con mensajería.

Modelo mental

El libro de vuelo de un avión —la caja negra—. Registra todo lo que pasa, en orden, y lo guarda aunque nadie lo esté leyendo en ese momento. Si hay un incidente, podés reconstruir exactamente qué pasó. Kafka es el libro de vuelo de tus datos.

Uso práctico

• ✅ Streaming, event sourcing, pipelines ETL, métricas, logs.
• ❌ Mensajería de baja latencia con consumidores efímeros —NATS o RabbitMQ pueden ser mejores—.

Ejemplo trabajado: pipeline de analytics con Kafka

Un ecommerce publica eventos de vista, clic y compra en topics de Kafka. Kafka Streams los une, agrega por ventana de tiempo y escribe resultados en una base de datos. Si el equipo de datos quiere agregar un nuevo pipeline, consume los mismos topics sin afectar los existentes.

Evidencia

• Wikipedia, Apache Kafka documenta su arquitectura y el ecosistema (Kafka Connect, Kafka Streams, ksqlDB).