У вас есть три задания (Dataflow transform->BigQuery, on-prem ingest->Cloud Storage, Dataflow third-party->Cloud Storage), которые требуют планирования, мониторинга и ручного запуска. Какой подход к оркестрации вы используете?

Cloud Composer, основанный на Apache Airflow, является управляемым сервисом для оркестрации рабочих процессов. Он позволяет создавать Direct Acyclic Graphs (DAGs) для определения последовательности задач, их зависимостей и расписания. Это идеальное решение для планирования, мониторинга и управления сложными конвейерами данных, включающими Dataflow, BigQuery и Cloud Storage, а также интеграцию с внешними системами. Stackdriver Monitoring (ныне Cloud Monitoring) предназначен для мониторинга и оповещений, а не для оркестрации или запуска заданий. App Engine может быть использован для создания пользовательских приложений, но не является специализированным инструментом для оркестрации ETL-процессов. Cron-задания на Compute Engine требуют ручного управления инфраструктурой и не предоставляют таких возможностей мониторинга, масштабирования и отказоустойчивости, как Cloud Composer.