Necesita una solución de orquestación diaria gestionada para un pipeline de varios pasos que ejecuta trabajos de Dataproc y Dataflow con dependencias. ¿Qué herramienta elige?

Cloud Composer es la elección correcta porque es un servicio de orquestación de flujos de trabajo completamente gestionado basado en Apache Airflow. Permite definir, programar y monitorear pipelines complejos que involucran múltiples servicios de Google Cloud, como Dataproc y Dataflow, con dependencias claras entre ellos. cron es un programador de tareas basado en tiempo, pero carece de capacidades de orquestación de flujos de trabajo, manejo de dependencias y monitoreo de pipelines complejos. Cloud Scheduler es un programador de tareas que puede activar trabajos, pero no gestiona las dependencias ni el flujo de trabajo de un pipeline de varios pasos. Workflow Templates en Dataproc son útiles para ejecutar trabajos de Dataproc de forma repetible, pero no orquestan un pipeline que incluye Dataflow u otros servicios con dependencias complejas.