Você deve processar eventos em lote e de streaming no Dataflow quando os eventos podem chegar atrasados ou fora de ordem. Como você deve projetar o pipeline para lidar com dados atrasados ou fora de ordem?

A opção correta é usar carimbos de data/hora de eventos e marcas d'água (watermarks) porque o Dataflow, baseado no modelo de programação do Apache Beam, foi projetado para processar dados em lote e em streaming, lidando intrinsecamente com a natureza desordenada e atrasada dos eventos. Os carimbos de data/hora de eventos representam o momento em que o evento ocorreu, não quando foi processado. As marcas d'água são um conceito fundamental que indica o progresso do sistema em relação aos carimbos de data/hora dos eventos, permitindo que o pipeline saiba quando é seguro considerar que todos os dados de uma determinada janela de tempo chegaram, mesmo que atrasados. Usar uma única janela global não resolve o problema de eventos fora de ordem ou atrasados, apenas agrupa todos os dados sem considerar a temporalidade. Janelas deslizantes podem incluir eventos atrasados, mas sem marcas d'água e carimbos de data/hora de eventos, não há uma forma robusta de determinar quando fechar uma janela ou como lidar com atrasos significativos. Basear a lógica apenas em carimbos de data/hora da fonte não é suficiente, pois a marca d'água é essencial para o Dataflow gerenciar a completude e a pontualidade dos dados.