Новое приложение генерирует примерно 150 ГБ JSON-данных в день к концу года. Требования: разделить производителя/потребителя, экономичное бессрочное хранение необработанных данных, SQL в почти реальном времени и история данных, доступная для SQL-запросов, за 2+ года. Какой конвейер приема и хранения данных соответствует этим потребностям?

Правильный ответ эффективно решает все требования. Cloud Pub/Sub обеспечивает разделение производителя/потребителя и асинхронную обработку. Dataflow обеспечивает масштабируемое преобразование JSON в Avro, что является эффективным форматом для аналитики. Запись в Cloud Storage обеспечивает экономичное бессрочное хранение необработанных данных. Запись в BigQuery позволяет выполнять SQL-запросы в почти реальном времени и хранить историю данных более 2 лет. Остальные варианты не подходят: API с опросом и сохранением в Cloud Storage не обеспечивает SQL в почти реальном времени и историю данных, а также менее эффективен для обработки больших объемов. Запись напрямую в Cloud SQL не масштабируется для 150 ГБ данных в день и не является оптимальной для аналитики больших объемов. Использование Dataproc с HDFS для постоянного хранения менее экономично и гибко, чем Cloud Storage и BigQuery, и требует большего управления.