Een streaming-pipeline gebruikt hopping windows, maar sommige laat arriverende data wordt niet als laat behandeld, wat leidt tot onjuiste aggregaties. Hoe vang je late data op in het juiste window?

Watermarks definiëren een drempel voor wanneer data als 'laat' wordt beschouwd. Door een watermark te gebruiken, geef je het systeem een indicatie van de verwachte aankomsttijd van data. Wanneer late data arriveert vóór het watermark voor dat specifieke window is overschreden, kan het nog steeds correct worden verwerkt en opgenomen in de juiste aggregatie. Tumbling windows en session windows zijn andere soorten windowing-functies die het probleem van late data niet direct oplossen; tumbling windows zijn vaste, niet-overlappende vensters, en session windows groeperen op basis van activiteit, niet op aankomsttijd. Het vergroten van een hopping window kan sommige late data opvangen, maar is geen robuuste oplossing voor onvoorspelbare late aankomsten en kan leiden tot onnodig lange verwerkingstijden.