Um engenheiro de dados construiu um pipeline ETL do AWS Glue e deve rastrear uma tabela no Microsoft SQL Server, depois gravar a saída do rastreamento no S3 e orquestrar o pipeline. Qual recurso da AWS oferece essa capacidade com o menor custo?

AWS Glue workflows são a solução mais econômica para orquestrar pipelines ETL do Glue, rastrear tabelas no SQL Server e gravar a saída no S3. Eles permitem encadear jobs, crawlers e notebooks do Glue, além de gerenciar dependências e agendamentos, tudo dentro do ecossistema do Glue. AWS Step Functions é uma ferramenta de orquestração robusta, mas pode ser mais cara e complexa para este caso de uso específico, que já está centrado no Glue. AWS Glue Studio é uma interface visual para criar e gerenciar jobs do Glue, mas não é uma ferramenta de orquestração de pipeline completa por si só. Amazon MWAA (Managed Workflows for Apache Airflow) é uma ferramenta de orquestração poderosa e flexível, mas geralmente é mais cara e exige mais gerenciamento do que os workflows nativos do Glue para um pipeline que já é predominantemente baseado no Glue.