Codziennie terabajty danych zdarzeń z Google Analytics trafiają do BigQuery. Tabele profili klientów znajdują się w Cloud SQL dla MySQL i Cloud SQL dla PostgreSQL. Dział marketingu musi uruchamiać połączone kampanie 100–300 razy dziennie, minimalizując obciążenie instancji Cloud SQL. Co zaimplementujesz?

Poprawna odpowiedź to utworzenie strumieni Datastream, aby replikować wymagane tabele z obu baz danych Cloud SQL do BigQuery. Datastream to usługa do ciągłej replikacji danych (CDC) z baz danych operacyjnych, takich jak Cloud SQL, do BigQuery. Replikacja danych do BigQuery minimalizuje obciążenie instancji Cloud SQL, ponieważ zapytania marketingowe będą wykonywane bezpośrednio na BigQuery, a nie na bazach transakcyjnych. Pozostałe opcje są mniej optymalne: Połączenia federacyjne BigQuery obciążają Cloud SQL przy każdym zapytaniu, co jest sprzeczne z wymaganiem minimalizacji obciążenia. Zadanie Apache Spark w Dataproc Serverless lub klaster Dataproc z Trino również będą obciążać Cloud SQL przy każdym uruchomieniu zapytania, a dodatkowo wprowadzają złożoność operacyjną i potencjalnie większe opóźnienia.