新しいアプリケーションは、年末までに1日あたり約150 GBのJSONを生成します。要件は、プロデューサーとコンシューマーの分離、費用対効果の高い無期限の生データストレージ、ほぼリアルタイムのSQL、および2年以上のSQLクエリ可能な履歴です。これらのニーズを満たす取り込みおよびストレージパイプラインはどれですか？

このソリューションは、提示されたすべての要件を満たします。Cloud Pub/Subはプロデューサーとコンシューマーの分離を提供し、Dataflowはほぼリアルタイムの処理とJSONからAvroへの変換を可能にします。Avro形式は、BigQueryでの費用対効果の高いストレージと効率的なクエリに適しています。Cloud Storageは、費用対効果の高い無期限の生データストレージを提供し、BigQueryは2年以上のSQLクエリ可能な履歴をサポートします。 他の選択肢が不適切な理由は次のとおりです。 ポーラーとCloud Storageの組み合わせは、リアルタイムのSQLクエリ要件を満たしません。 Cloud SQLは、1日あたり150 GBのJSONを処理するには費用対効果が低く、スケーラビリティも不十分です。 DataprocとHDFSは、マネージドサービスではなく、運用オーバーヘッドが増加します。また、HDFSは永続的なストレージには適していません。