新しい取り込みパイプラインのバージョンをデプロイした後、BigQuery に保存される日次データが 50% 増加し、Pub/Sub のボリュームは変更されず、日次パーティションの一部のみが倍増しました。原因を調査し、修正するにはどうすればよいですか？

この問題は、新しいパイプラインのデプロイ後に一部のBigQueryパーティションでデータが倍増していることを示しています。Pub/Subのボリュームが変わっていないことから、データソースではなく、取り込みプロセスに問題がある可能性が高いです。 正しい選択肢は、まずBigQueryテーブルで重複行がないかを確認し、次にBigQueryの監査ログとCloud Monitoringを使用して、データが倍増した原因となったジョブIDとパイプラインのバージョンを特定することを提案しています。複数のパイプラインが同じテーブルに書き込んでいる場合、古いバージョンがまだ実行されており、新しいバージョンと重複してデータを書き込んでいる可能性があります。これを特定し、古いパイプラインを停止することで問題を解決できます。 他の選択肢は、問題の根本原因を特定せずに、重複排除やロールバックなどの対処療法を提案しており、再発のリスクがあります。特に、Pub/Subのボリュームが変わっていないため、データのリプレイは適切ではありません。