Implemente trabajos por lotes programados con muchos pasos interdependientes (scripts de shell, trabajos de Hadoop, consultas de BigQuery), tiempos de ejecución prolongados y recuentos de reintentos fijos. ¿Qué servicio debería orquestar y administrar estos flujos de trabajo?

Cloud Composer es la elección correcta porque es un servicio de orquestación de flujos de trabajo completamente administrado basado en Apache Airflow. Permite programar, monitorear y administrar flujos de trabajo complejos con múltiples pasos interdependientes, como scripts de shell, trabajos de Hadoop y consultas de BigQuery. Su capacidad para definir DAGs (Directed Acyclic Graphs) facilita la gestión de dependencias y reintentos. Cloud Scheduler es adecuado para programar tareas simples y únicas, no para flujos de trabajo complejos con interdependencias. Cloud Dataflow es un servicio para el procesamiento de datos por lotes y en tiempo real, no para la orquestación de flujos de trabajo. Cloud Functions es un servicio de computación sin servidor para ejecutar código en respuesta a eventos, no para la gestión de flujos de trabajo a gran escala.