実行中のストリーミング Cloud Dataflow ジョブがあります。エンジニアは、異なるウィンドウ処理とトリガーを持つ新しいバージョンを作成しました。データ損失なしで更新するには、どうすればよいですか？

正解は、Dataflow ジョブを Drain で停止し、更新されたコードで新しい Dataflow ジョブを作成することです。 Dataflow の Drain 機能は、既存のジョブが処理中のすべてのデータを完了し、新しいデータを受信しないようにすることで、データ損失なしにジョブを停止します。これにより、すべてのデータが確実に処理されてから、新しいバージョンのジョブを開始できます。 一方、Cancel 機能はジョブを即座に停止するため、処理中のデータが失われる可能性があります。 既存のジョブ名に --update オプションを使用すると、ジョブのパイプラインコードを更新できますが、ウィンドウ処理やトリガーなどのパイプラインロジックの変更は、既存のジョブではシームレスに適用できない場合があります。特に、これらの変更は、既存のジョブのステートフルな処理に影響を与える可能性があるため、Drain して新しいジョブを開始する方が安全です。新しい一意のジョブ名を使用しても、既存のジョブのデータ損失を防ぐことにはなりません。