新應用程式到年底每天會產生約 150 GB 的 JSON 資料。需求如下：解耦生產者/消費者、具成本效益的無限期原始資料儲存、近乎即時的 SQL 查詢，以及 2 年以上的 SQL 可查詢歷史記錄。哪種資料擷取和儲存管道能滿足這些需求？

此方案能滿足所有需求。Cloud Pub/Sub 提供生產者/消費者解耦和高吞吐量。Dataflow 管道能近乎即時地處理和轉換資料，將 JSON 轉換為 Avro 格式，以優化儲存和查詢。將 Avro 檔案寫入 Cloud Storage 可實現成本效益高的無限期原始資料儲存。同時，將資料載入 BigQuery 可支援近乎即時的 SQL 查詢和超過兩年的歷史記錄分析，因為 BigQuery 擅長處理大量歷史資料。 其他選項的不足之處： API 和輪詢器：無法提供近乎即時的處理，且輪詢效率較低。 直接寫入 Cloud SQL：Cloud SQL 不適合處理每日 150 GB 的大量 JSON 資料，成本高且擴展性有限，無法滿足無限期儲存需求。 Pub/Sub 和 Dataproc 上的 Spark：雖然能處理資料，但將資料儲存在 HDFS 永久磁碟上不符合成本效益的無限期儲存需求，且管理複雜度較高。