BigQuery MLでモデルを構築し、Vertex AIでホストします。ベンダーのストリームは継続的に到着し、無効な値が含まれる可能性があります。BigQueryでのほぼリアルタイムの処理とサニタイズのために、どうすべきですか？

この選択肢が正しいのは、Pub/Subがリアルタイムのデータ取り込みに優れており、Dataflowがストリーミングデータに対する複雑な変換、サニタイズ、およびエンリッチメントを大規模に実行できるためです。これにより、無効な値を含む可能性のあるベンダーのストリームデータを、BigQueryに保存する前にほぼリアルタイムで処理し、クリーンな状態にすることができます。 他の選択肢が不適切な理由は以下の通りです。 BigQueryストリーミングインサートを直接使用するだけでは、データのサニタイズや変換ができません。 Cloud Functionsは、データ量が多い場合や複雑な処理が必要な場合にスケーラビリティや処理能力が不足する可能性があります。 BigQuery MLモデルを「取り込み」データセットに直接適用しても、データがサニタイズされるわけではありません。