Um engenheiro de dados deve orquestrar um pipeline que inclui uma única função AWS Lambda seguida por um trabalho AWS Glue e deve usar serviços gerenciados da AWS. Qual abordagem oferece isso com a menor sobrecarga operacional?

AWS Step Functions é um serviço de orquestração sem servidor que permite criar fluxos de trabalho complexos a partir de funções Lambda, trabalhos Glue e outros serviços AWS. Ele oferece baixa sobrecarga operacional por ser totalmente gerenciado, escalável e ter tratamento de erros e tentativas integrados. A criação de uma máquina de estado que invoca a função Lambda e, em seguida, inicia o trabalho do AWS Glue atende aos requisitos de orquestração com a menor sobrecarga. Implantar o Apache Airflow no Amazon EC2 ou EKS aumenta significativamente a sobrecarga operacional, pois você é responsável pelo gerenciamento da infraestrutura, patches e escalabilidade do Airflow. Embora o AWS Glue Workflow possa sequenciar trabalhos Glue, ele não é a ferramenta ideal para orquestrar uma função Lambda seguida por um trabalho Glue de forma nativa e sem servidor, como o Step Functions.