Musisz przetwarzać zdarzenia wsadowe i strumieniowe w Dataflow, gdy zdarzenia mogą nadejść z opóźnieniem lub poza kolejnością. Jak zaprojektować potok, aby obsługiwał dane przychodzące z opóźnieniem lub poza kolejnością?

Prawidłowa odpowiedź to użycie sygnatur czasowych zdarzeń i znaków wodnych (watermarks) do obsługi zdarzeń przychodzących z opóźnieniem i poza kolejnością. W Dataflow sygnatury czasowe zdarzeń reprezentują rzeczywisty czas wystąpienia zdarzenia, a znaki wodne wskazują, że wszystkie dane do określonego czasu zdarzenia zostały przetworzone. Pozwala to Dataflow na prawidłowe grupowanie i przetwarzanie zdarzeń, nawet jeśli dotrą one z opóźnieniem lub poza kolejnością. Okna przesuwne (Sliding windows) są używane do analizy danych w nakładających się przedziałach czasowych, a nie do bezpośredniej obsługi opóźnień. Pojedyncze globalne okno nie radzi sobie z opóźnionymi danymi, ponieważ przetwarza wszystkie zdarzenia jako jeden zestaw. Opieranie się wyłącznie na sygnaturach czasowych bez znaków wodnych nie zapewnia mechanizmu do określenia, kiedy można bezpiecznie zamknąć okno i przetworzyć dane.