Masz trzy zadania (Dataflow transform->BigQuery, on-prem ingest->Cloud Storage, Dataflow third-party->Cloud Storage), które wymagają planowania, monitorowania i ręcznego uruchamiania. Jakiego podejścia do orkiestracji użyjesz?

Cloud Composer, oparty na Apache Airflow, jest zarządzaną usługą orkiestracji przepływów pracy, idealną do planowania, monitorowania i zarządzania złożonymi potokami danych. Tworzenie Direct Acyclic Graph (DAG) w Cloud Composer pozwala na zdefiniowanie zależności między zadaniami (Dataflow transform-BigQuery, on-prem ingest-Cloud Storage, Dataflow third-party-Cloud Storage) i automatyczne ich uruchamianie zgodnie z harmonogramem. Umożliwia to również wizualizację postępu i łatwe rozwiązywanie problemów. Pozostałe opcje są mniej odpowiednie: Stackdriver Monitoring (obecnie Cloud Monitoring) służy głównie do monitorowania i alertowania, a nie do orkiestracji i uruchamiania zadań. Aplikacja App Engine wymagałaby znacznego nakładu pracy na rozwój i utrzymanie logiki orkiestracji, która jest już dostępna w Cloud Composer. Zadania cron na instancji Compute Engine są mniej skalowalne, odporne na błędy i trudniejsze w zarządzaniu niż zarządzana usługa orkiestracji, a także wymagają ręcznej konfiguracji monitorowania.