イベントが遅延したり順不同で到着したりする場合、Dataflow でバッチイベントとストリーミングイベントを処理する必要があります。遅延データや順不同データを処理するために、パイプラインをどのように設計すべきですか？

遅延データや順不同データを処理するDataflowパイプラインでは、イベントタイムスタンプとウォーターマークの概念が不可欠です。イベントタイムスタンプは、イベントが実際に発生した時間を示し、ウォーターマークは、その時間までにシステムが処理を完了したと見なすイベントタイムスタンプのしきい値です。これにより、Dataflowは遅れて到着したイベント（遅延データ）や、発生順序と異なる順序で到着したイベント（順不同データ）を適切に処理し、正確な集計や分析を保証できます。 単一のグローバルウィンドウでは、遅延データや順不同データを考慮した正確な処理は困難です。スライディングウィンドウは特定の時間間隔で集計を行いますが、遅延イベントを効果的に含めるためのメカニズムとしては不十分です。すべてのソースにタイムスタンプがあるだけでは、遅延処理ロジックが自動的に構築されるわけではありません。