Você precisa de uma solução de orquestração diária gerenciada para um pipeline de várias etapas que executa jobs do Dataproc e do Dataflow com dependências. Qual ferramenta você escolheria?

Cloud Composer é a escolha ideal porque é um serviço de orquestração de fluxo de trabalho totalmente gerenciado, baseado no Apache Airflow. Ele permite definir, agendar e monitorar pipelines complexos com dependências entre jobs do Dataproc e Dataflow, usando Python. O cron é uma ferramenta de agendamento de tarefas simples, mas não oferece orquestração de dependências ou monitoramento de pipelines. O Cloud Scheduler é um agendador de tarefas gerenciado, mas também não oferece a orquestração de fluxo de trabalho complexa necessária. Workflow Templates no Dataproc são específicos para jobs do Dataproc e não orquestram jobs do Dataflow ou outras etapas do pipeline.