Dagelijks komen terabytes aan Google Analytics-gebeurtenisgegevens binnen in BigQuery. Klantprofieltabellen bevinden zich in Cloud SQL voor MySQL en Cloud SQL voor PostgreSQL. Marketing moet 100-300 keer per dag gekoppelde campagnes uitvoeren, terwijl de belasting op de Cloud SQL-instanties wordt geminimaliseerd. Wat implementeer je?

De beste oplossing is het aanmaken van Datastream-streams om de benodigde tabellen van beide Cloud SQL-databases naar BigQuery te repliceren. Dit minimaliseert de belasting op de Cloud SQL-instanties, omdat BigQuery vervolgens alle queries uitvoert op de gerepliceerde gegevens. BigQuery is geoptimaliseerd voor het verwerken van grote hoeveelheden gegevens en complexe joins, wat ideaal is voor de marketingcampagnes. BigQuery gefedereerde queries zouden de Cloud SQL-databases direct belasten bij elke query, wat niet voldoet aan de eis om de belasting te minimaliseren. Een Apache Spark-taak of een Dataproc-cluster met Trino zijn te complex en duur voor deze specifieke use case, waarbij het primair gaat om het samenvoegen van gegevens voor analyse in BigQuery.