Um engenheiro de dados deve orquestrar um pipeline de ETL do Amazon EMR que ingere dados de múltiplas fontes e maximiza o desempenho, minimizando o custo. Qual serviço de orquestração da AWS é a escolha mais econômica para este requisito?

AWS Step Functions é a escolha mais econômica para orquestrar um pipeline de ETL no Amazon EMR. Ele permite a criação de fluxos de trabalho sem servidor que coordenam múltiplas etapas, incluindo jobs do EMR, com um modelo de precificação baseado no número de transições de estado, o que o torna eficiente para pipelines complexos e de longa duração. Amazon EventBridge é um barramento de eventos sem servidor, ideal para rotear eventos entre serviços, mas não para orquestração de fluxos de trabalho complexos com dependências. Amazon MWAA é uma opção poderosa para orquestração, mas geralmente mais cara devido à infraestrutura gerenciada do Apache Airflow. AWS Glue Workflows é excelente para orquestrar jobs do AWS Glue, mas pode ser menos flexível ou mais caro para orquestrar diretamente jobs do EMR sem a necessidade de jobs do Glue.