Event Streaming

Resumen

Event streaming —flujo de eventos— es un paradigma donde los datos se procesan como un flujo continuo e infinito de registros, en lugar de procesarse en lotes periódicos. Un stream es una secuencia ordenada de eventos, y el procesamiento ocurre en tiempo real o near-real-time.

Kafka popularizó el modelo: los eventos se escriben en topics particionados y los consumidores leen en orden. Herramientas como Kafka Streams, Flink y Spark Streaming permiten transformar, unir, filtrar y agregar estos flujos continuamente.

Alcance y supuestos

Cubre el concepto de event streaming, su diferencia con batch processing y herramientas. Asume familiaridad con mensajería.

Modelo mental

Procesar nóminas por lote versus por evento. Batch: una vez al mes, procesás todas las horas de todos los empleados. Streaming: cada vez que un empleado marca entrada o salida, el sistema actualiza su acumulado. Al final del mes, el resultado ya está calculado.

Uso práctico

• ✅ Detección de fraude en tiempo real, dashboards vivos, pipelines de datos continuos.
• ❌ Reportes financieros de cierre mensual: batch es más simple.

Ejemplo trabajado: detección de fraude con streaming

Cada transacción es un evento. Un stream processor agrupa por usuario y ventana de 5 minutos. Si las transacciones superan un umbral, emite alerta. Sin streaming, el fraude se detectaría en el batch nocturno.

Evidencia

• Kafka Streams y Apache Flink son las herramientas principales de stream processing.