Какой сервис и подход к масштабированию следует выбрать для конвейера, который считывает JSON из Pub/Sub, преобразует его и записывает в BigQuery с минимальными затратами и автоматической обработкой переменного объема входных данных?

Cloud Dataflow — это полностью управляемый сервис для выполнения конвейеров обработки данных, который идеально подходит для потоковой обработки (Pub/Sub) и записи в BigQuery. Его встроенное автомасштабирование (на основе метрик, таких как отставание заданий) автоматически регулирует количество рабочих узлов, обеспечивая эффективную обработку переменного объема данных с минимальными затратами. Мониторинг отставания заданий через Stackdriver позволяет убедиться, что конвейер справляется с нагрузкой. Использование Cloud Dataproc требует ручного управления кластером и масштабирования, что не соответствует требованиям автоматической обработки и минимальных затрат. Ручное изменение размера или настройка нестандартных типов машин не обеспечивает автоматического масштабирования и увеличивает операционные издержки.