Hai tre job (Dataflow transform->BigQuery, on-prem ingest->Cloud Storage, Dataflow third-party->Cloud Storage) che richiedono pianificazione, monitoraggio ed esecuzioni manuali. Quale approccio di orchestrazione utilizzi?

Cloud Composer è un servizio gestito di Apache Airflow, ideale per orchestrare workflow complessi e multi-step. La creazione di un Directed Acyclic Graph (DAG) permette di definire le dipendenze tra i job (Dataflow, ingestione on-prem) e di pianificarne l'esecuzione in modo automatico e robusto. Offre funzionalità native per il monitoraggio, il logging e la gestione degli errori, centralizzando il controllo di tutti i processi. Le altre opzioni sono meno adatte: Stackdriver Monitoring è per il monitoraggio e gli avvisi, non per l'orchestrazione o l'attivazione diretta di job complessi. Un'applicazione App Engine richiederebbe uno sviluppo significativo per replicare le funzionalità di orchestrazione già presenti in Airflow. I cron job su Compute Engine sono meno scalabili, più difficili da gestire e monitorare rispetto a Cloud Composer per workflow multi-step e distribuiti.