Des téraoctets de données d'événements Google Analytics arrivent quotidiennement dans BigQuery. Les tables de profils clients résident dans Cloud SQL pour MySQL et Cloud SQL pour PostgreSQL. Le service marketing doit exécuter des campagnes jointes 100 à 300 fois par jour tout en minimisant la charge sur les instances Cloud SQL. Que mettez-vous en œuvre ?

La réplication des tables Cloud SQL vers BigQuery à l'aide de Datastream est la solution la plus efficace. Datastream permet une réplication continue et en temps quasi réel (CDC) des données, minimisant ainsi la charge sur les instances Cloud SQL car les requêtes de campagne s'exécuteront directement sur BigQuery. Cela centralise toutes les données nécessaires dans BigQuery, où les jointures avec les données Google Analytics seront performantes et économiques. Les requêtes fédérées BigQuery (option 1) solliciteraient directement Cloud SQL à chaque exécution, ce qui irait à l'encontre de l'objectif de minimisation de la charge. Un job Apache Spark sur Dataproc Serverless (option 2) ou un cluster Dataproc avec Trino (option 4) pourraient exécuter les requêtes, mais ils impliqueraient des coûts opérationnels et une complexité plus élevés pour un cas d'utilisation qui peut être géré plus simplement et efficacement par la réplication de données.