Потоковый конвейер использует скользящие окна (hopping windows), но некоторые поздно поступающие данные не обрабатываются как опоздавшие, что приводит к неверным агрегациям. Как вы будете обрабатывать опоздавшие данные в правильном окне?

Водяные знаки (watermarks) позволяют системе обработки потоков отслеживать прогресс данных по времени события. Когда данные поступают позже ожидаемого времени, определяемого водяным знаком, их можно обработать как "опоздавшие данные" и направить в соответствующее окно, даже если это окно уже было закрыто. Это обеспечивает корректную агрегацию, поскольку все данные, относящиеся к определенному окну, обрабатываются вместе. Изменение на скользящие окна (tumbling windows) или сессионные окна (session windows) не решает проблему опоздавших данных, так как они имеют другие цели оконного разбиения. Расширение скользящего окна (hopping window) может уменьшить количество опоздавших данных, но не гарантирует их обработку в правильном окне и может привести к увеличению задержки.