Ежедневно терабайты данных событий Google Analytics поступают в BigQuery. Таблицы профилей клиентов хранятся в Cloud SQL для MySQL и Cloud SQL для PostgreSQL. Отделу маркетинга необходимо запускать объединенные кампании 100–300 раз в день, минимизируя при этом нагрузку на экземпляры Cloud SQL. Что вы реализуете?

Правильный ответ — создание потоков Datastream для репликации таблиц Cloud SQL в BigQuery. Datastream обеспечивает непрерывную репликацию данных (CDC) с минимальной задержкой, что позволяет переносить актуальные данные из Cloud SQL в BigQuery. Это минимизирует нагрузку на производственные экземпляры Cloud SQL, поскольку запросы маркетингового отдела будут выполняться к данным в BigQuery. BigQuery идеально подходит для аналитических запросов к большим объемам данных, включая данные Google Analytics. Использование BigQuery federated queries (федеративных запросов) к Cloud SQL будет создавать прямую нагрузку на экземпляры Cloud SQL при каждом запросе. Задание Apache Spark на Dataproc Serverless или кластер Dataproc с Trino также будут напрямую запрашивать Cloud SQL, создавая нагрузку и потенциально увеличивая задержку для маркетинговых кампаний.