Implementare processi batch pianificati con molti passaggi interdipendenti (script shell, processi Hadoop, query BigQuery), tempi di esecuzione lunghi e conteggi di tentativi fissi. Quale servizio dovrebbe orchestrare e gestire questi workflow?

Cloud Composer è la scelta migliore perché è un servizio gestito di Apache Airflow, ideale per orchestrare workflow complessi e multi-step con dipendenze, retry policies e monitoraggio. Supporta l'esecuzione di script shell, processi Hadoop e query BigQuery, come richiesto. Cloud Scheduler è ottimo per pianificare l'esecuzione di singole attività o l'avvio di workflow semplici, ma non per l'orchestrazione di workflow complessi con dipendenze. Cloud Dataflow è un servizio per l'elaborazione di dati batch e stream, non un orchestratore di workflow. Cloud Functions è adatto per l'esecuzione di codice serverless basato su eventi, non per la gestione di workflow complessi e pianificati.