AIモデルと分析に供給する前に、広告データのニアリアルタイムなクレンジングを行い、ロングテールと外れ値のポイントを特定する必要があります。何を使用すべきですか？

ニアリアルタイムのデータクレンジングと、ロングテールおよび外れ値の特定には、ストリーミング処理が不可欠です。Dataflowは、Apache Beamをベースとしたフルマネージドなストリーミング・バッチ処理サービスであり、これらの要件に最適です。複雑なデータ変換ロジックをプログラムで実装し、ニアリアルタイムで実行できます。処理されたクリーンなデータをBigQueryにシンクとして出力することで、後続のAIモデルや分析に利用できます。 Cloud Storageをデータウェアハウスとして使用し、シェルスクリプトで処理する方法は、ニアリアルタイム処理には不向きで、バッチ処理に適しています。BigQueryでデータを取り込み、準備する方法は、ストリーミング処理の柔軟性に欠け、リアルタイム性が求められるクレンジングには不十分です。Cloud Composerはワークフローオーケストレーションツールであり、データ処理自体を行うものではありません。