每天都有數 TB 的 Google Analytics 事件資料進入 BigQuery。客戶設定檔資料表位於 Cloud SQL for MySQL 和 Cloud SQL for PostgreSQL 中。行銷部門需要每天執行 100-300 次聯結行銷活動，同時將 Cloud SQL 執行個體的負載降到最低。您會實作什麼？

正確答案是建立 Datastream 資料流，將兩個 Cloud SQL 資料庫中所需的資料表複製到 BigQuery 中。Datastream 是一種無伺服器、異質資料複製服務，可以近乎即時地將資料從 Cloud SQL 等來源複製到 BigQuery。這能確保行銷部門在 BigQuery 中擁有最新的客戶設定檔資料，可以直接與 Google Analytics 事件資料進行聯結，而無需對 Cloud SQL 執行個體造成額外負載。 其他選項的缺點： 建立 BigQuery 連線並使用聯合查詢會直接查詢 Cloud SQL，這會增加 Cloud SQL 執行個體的負載，與需求不符。 在 Dataproc Serverless 上建立 Apache Spark 工作或佈建具有 Trino 的 Dataproc 叢集來查詢所有資料庫，雖然可行，但會增加複雜性和管理開銷，且每次查詢仍會對 Cloud SQL 產生負載。Datastream 提供了一種更簡潔、更高效的解決方案，透過預先將資料複製到 BigQuery 來解決負載問題。