Uma empresa executa vários fluxos de trabalho de ETL que extraem dados de bancos de dados operacionais para um data lake no S3. Esses fluxos de trabalho usam AWS Glue e Amazon EMR. A empresa deseja adicionar orquestração automatizada, minimizando o esforço manual e a sobrecarga operacional. Qual solução atende a esses objetivos com a MENOR sobrecarga operacional?

AWS Step Functions é a melhor escolha porque permite orquestrar fluxos de trabalho complexos, incluindo jobs do AWS Glue e clusters do Amazon EMR, usando máquinas de estado visuais. Ele gerencia o estado, as repetições e o tratamento de erros automaticamente, minimizando a sobrecarga operacional. AWS Glue Workflows pode orquestrar jobs do Glue, mas não é tão flexível para integrar serviços externos como o EMR quanto o Step Functions. AWS Lambda Functions são ideais para tarefas sem servidor e de curta duração, mas não para orquestrar fluxos de trabalho ETL complexos e de longa duração. Amazon MWAA oferece orquestração poderosa com Apache Airflow, mas tem uma curva de aprendizado e uma sobrecarga operacional maior em comparação com o Step Functions, que é totalmente gerenciado e mais simples para este caso de uso.