Una pipeline de streaming utiliza ventanas de salto (hopping windows), pero algunos datos que llegan tarde no se tratan como tardíos, lo que provoca agregaciones incorrectas. ¿Cómo se capturan los datos tardíos en la ventana correcta?

Las marcas de agua (watermarks) son fundamentales para manejar datos tardíos en pipelines de streaming. Definen el umbral de "tardanza" para los datos, indicando cuándo se espera que lleguen los eventos. Al configurar una marca de agua, el sistema puede identificar datos que llegan después de su tiempo de procesamiento esperado pero aún pueden ser asignados a la ventana correcta. Esto permite que los datos tardíos se procesen adecuadamente, evitando agregaciones incorrectas. Cambiar a ventanas de tiempo fijo (tumbling windows) o de sesión (session windows) no resuelve el problema de los datos tardíos; simplemente altera cómo se agrupan los datos. Expandir la ventana de salto (hopping window) podría mitigar el problema para algunos datos tardíos, pero no es una solución robusta ni dinámica para todos los casos, ya que no aborda la definición de "tardío" ni la llegada impredecible de eventos.