Pub/Sub サブスクリプションを使用している実行中の Dataflow ストリーミングパイプラインに、データ損失なしで互換性のない更新をデプロイする必要があります。どうすればよいですか？

Dataflowのストリーミングパイプラインでデータ損失なしに互換性のない更新を行うには、--drainフラグを使用して既存のパイプラインを更新します。これにより、Dataflowは現在の処理中のデータをすべて完了させてからパイプラインを停止し、新しいパイプラインが既存のPub/Subサブスクリプションから処理を再開するため、データ損失を防ぎます。 他の選択肢は適切ではありません。 状態移行のためのtransform-mapping JSONは、互換性のある更新や状態のスキーマ変更時に使用され、互換性のない更新には直接対応しません。 新しいパイプラインを作成して古いパイプラインをキャンセルする方法では、古いパイプラインが処理中のデータを完了する保証がなく、データ損失のリスクがあります。特に新しいPub/Subサブスクリプションを使用すると、古いメッセージが処理されない可能性があります。