Un ingeniero de datos debe orquestar un pipeline ETL de Amazon EMR que ingiere datos de múltiples fuentes y maximizar el rendimiento minimizando los costos. ¿Qué servicio de orquestación de AWS es la opción más rentable para este requisito?

AWS Step Functions es la opción más rentable porque permite orquestar flujos de trabajo complejos y distribuidos sin servidor, pagando solo por las transiciones de estado. Esto lo hace ideal para pipelines ETL de EMR, ya que puede coordinar los pasos de EMR, Lambda, y otros servicios de forma eficiente. Amazon EventBridge es un bus de eventos sin servidor que se usa para conectar aplicaciones, no para orquestar flujos de trabajo secuenciales. Amazon MWAA es una opción potente para orquestación, pero su costo es significativamente mayor debido a la infraestructura dedicada de Apache Airflow. AWS Glue Workflows es adecuado para orquestar trabajos de Glue, pero Step Functions ofrece mayor flexibilidad y un modelo de precios más granular para flujos de trabajo que integran múltiples servicios más allá de Glue.