Um engenheiro de dados deve orquestrar um conjunto de tarefas ETL em Python que incluem a execução de jobs Spark no Amazon EMR, chamadas de APIs do Salesforce e carregamento de dados no Amazon Redshift. A orquestração deve lidar com novas tentativas e falhas automaticamente. Qual serviço da AWS o engenheiro deve usar?

Amazon MWAA é a escolha ideal porque oferece um serviço gerenciado para Apache Airflow, que é uma plataforma robusta para orquestrar fluxos de trabalho complexos. Ele permite definir, agendar e monitorar pipelines de dados programaticamente usando Python, o que é perfeito para a execução de jobs Spark no EMR, chamadas de API e carregamento no Redshift. O Airflow possui recursos nativos para lidar com novas tentativas e falhas, garantindo a resiliência da orquestração. AWS Step Functions é uma boa opção para orquestração, mas é mais adequado para fluxos de trabalho baseados em estado e menos para pipelines de dados complexos com dependências dinâmicas como as que o Airflow gerencia com Python. AWS Glue é um serviço ETL, não um orquestrador de propósito geral para diferentes tipos de tarefas. Amazon EventBridge é um barramento de eventos sem servidor para rotear eventos entre serviços, não uma ferramenta de orquestração de fluxo de trabalho.