Um pipeline de streaming usa janelas deslizantes (hopping windows), mas alguns dados que chegam atrasados não estão sendo tratados como atrasados, causando agregações incorretas. Como você captura dados atrasados na janela correta?

A opção correta é usar marcas d'água (watermarks) para definir a janela de chegada de dados esperada e permitir que os dados atrasados cheguem. Marcas d'água são um mecanismo fundamental em pipelines de streaming para lidar com a desordem de eventos e o atraso. Elas indicam o progresso do tempo do evento e permitem que o sistema saiba quando é seguro fechar uma janela e emitir resultados, mesmo que dados atrasados possam chegar depois. Ao configurar adequadamente a tolerância de atraso (allowed lateness), dados que chegam após a marca d'água, mas dentro da tolerância, ainda podem ser processados na janela correta. Alterar para janelas em cascata (tumbling windows) ou janelas de sessão (session windows) não resolve o problema de dados atrasados, pois essas janelas também precisam de um mecanismo para lidar com a desordem e o atraso. Expandir a janela deslizante (hopping window) pode mitigar o problema em alguns casos, mas não é uma solução robusta para dados imprevisivelmente atrasados e pode levar a janelas excessivamente grandes e latência aumentada.