Täglich landen Terabytes von Google Analytics-Ereignisdaten in BigQuery. Kundenprofiltabellen befinden sich in Cloud SQL für MySQL und Cloud SQL für PostgreSQL. Das Marketing muss 100–300 Mal pro Tag gemeinsame Kampagnen durchführen und dabei die Last auf die Cloud SQL-Instanzen minimieren. Was implementieren Sie?

Die Replikation der Cloud SQL-Tabellen nach BigQuery mit Datastream ist die beste Lösung, da sie die Last auf die operativen Cloud SQL-Instanzen minimiert und gleichzeitig die Daten für Analyseabfragen in BigQuery verfügbar macht. Datastream bietet Change Data Capture (CDC), sodass nur Änderungen repliziert werden, was effizient ist. BigQuery ist für die Analyse von Terabytes an Daten optimiert und kann die kombinierten Daten aus Google Analytics und den replizierten Kundendaten effizient abfragen. BigQuery Federated Queries würden die Cloud SQL-Instanzen bei jeder Abfrage belasten, was bei 100-300 Abfragen pro Tag zu Leistungsproblemen führen kann. Ein Apache Spark-Job oder ein Dataproc-Cluster mit Trino würden ebenfalls die Cloud SQL-Instanzen direkt abfragen und wären komplexer in der Verwaltung und teurer für diesen Anwendungsfall.