매일 테라바이트 규모의 Google Analytics 이벤트 데이터가 BigQuery에 저장됩니다. 고객 프로필 테이블은 Cloud SQL for MySQL 및 Cloud SQL for PostgreSQL에 있습니다. 마케팅 부서에서는 Cloud SQL 인스턴스의 부하를 최소화하면서 하루에 100~300회 조인된 캠페인을 실행해야 합니다. 무엇을 구현하시겠습니까?

정답은 Datastream 스트림을 생성하여 Cloud SQL 테이블을 BigQuery로 복제하는 것입니다. 마케팅 부서는 Cloud SQL 인스턴스에 최소한의 부하를 주면서 BigQuery의 Google Analytics 데이터와 Cloud SQL 데이터를 조인해야 합니다. Datastream은 Cloud SQL에서 변경 데이터 캡처(CDC)를 사용하여 데이터를 BigQuery로 거의 실시간으로 복제하므로, BigQuery에서 모든 데이터를 조인할 수 있게 되어 Cloud SQL에 대한 직접 쿼리 부하를 제거합니다. BigQuery 연결을 사용한 연합 쿼리는 Cloud SQL에 직접 쿼리 부하를 발생시켜 요구 사항을 충족하지 못합니다. Dataproc Serverless 또는 Trino가 포함된 Dataproc 클러스터는 복잡하고 비용이 많이 들며, Cloud SQL에 직접 쿼리 부하를 발생시키거나 데이터를 BigQuery로 영구적으로 통합하는 최적의 방법이 아닙니다.