Implemente jobs em lote agendados com muitas etapas interdependentes (scripts shell, jobs Hadoop, consultas BigQuery), longos tempos de execução e contagens de novas tentativas fixas. Qual serviço deve orquestrar e gerenciar esses fluxos de trabalho?

Cloud Composer é a escolha ideal para orquestrar fluxos de trabalho complexos com muitas etapas interdependentes, como scripts shell, jobs Hadoop e consultas BigQuery. Ele é baseado no Apache Airflow, que permite definir, agendar e monitorar fluxos de trabalho programaticamente usando Python. Sua capacidade de gerenciar dependências, reexecutar tarefas com falha e fornecer uma interface de usuário rica para monitoramento o torna perfeito para cenários com longos tempos de execução e contagens de novas tentativas fixas. Cloud Scheduler é para agendamento simples de jobs HTTP/S ou Pub/Sub, sem a capacidade de orquestrar fluxos de trabalho complexos. Cloud Dataflow é um serviço para processamento de dados em larga escala, não para orquestração de fluxos de trabalho multifacetados. Cloud Functions é para execução de código sem servidor em resposta a eventos, inadequado para a orquestração de pipelines complexos e agendados.