Una pipeline di streaming utilizza finestre a salto (hopping windows), ma alcuni dati in arrivo in ritardo non vengono trattati come tali, causando aggregazioni errate. Come si possono acquisire i dati in ritardo nella finestra corretta?

Le watermark (filigrane) sono un meccanismo fondamentale nelle pipeline di streaming per gestire i dati in ritardo. Definiscono una soglia di tempo che indica fino a quando un sistema dovrebbe attendere l'arrivo di dati per una finestra specifica. Quando i dati arrivano in ritardo ma prima che la watermark sia avanzata oltre la loro finestra di appartenenza, possono ancora essere elaborati correttamente all'interno di quella finestra. Questo assicura che le aggregazioni siano accurate anche in presenza di ritardi. Modificare le finestre in "tumbling windows" (finestre a cascata) o "session windows" (finestre di sessione) non risolve il problema dei dati in ritardo, poiché queste finestre hanno scopi diversi (finestre fisse non sovrapposte o finestre basate sull'attività) e non gestiscono intrinsecamente il ritardo. Espandere la finestra a salto (hopping window) potrebbe ridurre l'impatto dei dati in ritardo, ma non garantisce la loro corretta assegnazione alla finestra originale e potrebbe aumentare il ritardo di elaborazione complessivo.