Terabytes diarios de datos de eventos de Google Analytics llegan a BigQuery. Las tablas de perfiles de clientes residen en Cloud SQL para MySQL y Cloud SQL para PostgreSQL. Marketing necesita ejecutar campañas unidas de 100 a 300 veces al día, minimizando la carga en las instancias de Cloud SQL. ¿Qué implementaría?

La replicación de las tablas de Cloud SQL a BigQuery usando Datastream es la solución más eficiente. Datastream proporciona replicación de datos de baja latencia y sin servidor, lo que permite que los datos de Cloud SQL estén disponibles en BigQuery casi en tiempo real. Esto minimiza la carga en las instancias operativas de Cloud SQL porque las campañas se ejecutan directamente contra los datos replicados en BigQuery, no contra las bases de datos transaccionales. Las consultas federadas de BigQuery (opción 1) cargarían las instancias de Cloud SQL con cada ejecución de campaña. Apache Spark (opción 2) y Trino en Dataproc (opción 4) introducirían complejidad operativa y costos adicionales para un caso de uso que puede resolverse con una replicación más sencilla y eficiente.