Eine Streaming-Pipeline verwendet Hopping Windows, aber einige spät eintreffende Daten werden nicht als verspätet behandelt, was zu falschen Aggregationen führt. Wie erfassen Sie verspätete Daten im richtigen Fenster?

Wasserzeichen (Watermarks) sind der Standardmechanismus in Streaming-Systemen, um den Fortschritt der Ereigniszeit zu verfolgen und zu bestimmen, wann ein Fenster abgeschlossen werden kann. Indem Sie ein Wasserzeichen definieren, das die erwartete Ankunftszeit von Daten berücksichtigt, können Sie dem System mitteilen, wie lange es auf verspätete Daten warten soll, bevor ein Fenster als vollständig betrachtet wird. Die Option, verspätete Daten zuzulassen, sobald sie eintreffen, stellt sicher, dass diese Daten korrekt dem entsprechenden Fenster zugeordnet werden, auch wenn sie nach dem initialen Wasserzeichen eintreffen. Tumbling Windows und Session Windows sind andere Windowing-Typen, die das Problem verspäteter Daten nicht direkt lösen. Das Erweitern des Hopping Windows würde zwar mehr Zeit für die Ankunft von Daten bieten, ist aber keine präzise Methode zur Handhabung verspäteter Daten und kann zu unnötig langen Verarbeitungszeiten führen.