Ogni giorno, terabyte di dati di eventi di Google Analytics arrivano in BigQuery. Le tabelle dei profili dei clienti si trovano in Cloud SQL per MySQL e Cloud SQL per PostgreSQL. Il marketing deve eseguire campagne con join 100-300 volte al giorno, riducendo al minimo il carico sulle istanze Cloud SQL. Cosa implementeresti?

La risposta corretta è creare stream Datastream per replicare le tabelle richieste da entrambi i database Cloud SQL in BigQuery. Questo approccio centralizza i dati in BigQuery, consentendo al marketing di eseguire join complessi tra i dati di Google Analytics e i profili dei clienti direttamente in BigQuery, senza sovraccaricare le istanze Cloud SQL. Datastream offre una replica continua e a bassa latenza, ideale per mantenere i dati aggiornati. Le altre opzioni sono meno efficienti o adatte: Le query federate di BigQuery verso Cloud SQL (opzione 1) possono sovraccaricare Cloud SQL con 100-300 query al giorno, specialmente per join complessi. Un job Apache Spark su Dataproc Serverless (opzione 2) introdurrebbe latenza e complessità operativa per ogni esecuzione, oltre a potenzialmente sovraccaricare Cloud SQL. Il provisioning di un cluster Dataproc con Trino (opzione 4) è una soluzione più complessa e costosa per questo caso d'uso, che richiede la gestione di un cluster e potrebbe comunque impattare le prestazioni di Cloud SQL.