外部パートナーが、不正な形式の行を含むCSVファイルを毎日GCSにドロップします。これをBigQueryにロードし、不正な行を検査する必要があります。どのパイプライン設計が適切ですか？

正解は、Google Cloud Dataflowバッチパイプラインを実行してデータをBigQueryにインポートし、エラーを分析のために別のデッドレターテーブルにプッシュする、です。このアプローチは、不正な形式の行を特定し、それらをBigQueryへの有効なデータロードから分離する最も堅牢な方法です。Dataflowは、データの変換、検証、およびエラー処理のための柔軟なプログラミングモデルを提供します。不正な行をデッドレターテーブルにルーティングすることで、後で検査および修正できます。 フェデレーションデータソースは、BigQueryにデータをロードする前に検証を行う機能がありません。BigQueryのモニタリングは、ロード後のエラーを通知しますが、不正な行を分離したり修正したりする機能はありません。gcloud CLIでmaxbadrecordsを0に設定すると、不正な行が1つでもあればロード全体が失敗し、部分的なロードやエラーの分析ができなくなります。