데이터 엔지니어가 AWS Glue ETL 파이프라인을 구축했으며, Microsoft SQL Server의 테이블을 크롤링한 다음 크롤링 출력을 S3에 쓰고 파이프라인을 오케스트레이션해야 합니다. 가장 저렴한 비용으로 이 기능을 제공하는 AWS 기능은 무엇입니까?

AWS Glue 워크플로우는 여러 크롤러, ETL 작업 및 트리거를 오케스트레이션하여 복잡한 데이터 파이프라인을 구축하고 관리하는 데 사용됩니다. 이 시나리오에서는 SQL Server 테이블 크롤링, S3에 출력 쓰기, 파이프라인 오케스트레이션 등 여러 단계를 저렴한 비용으로 통합할 수 있습니다. AWS Step Functions는 복잡한 분산 애플리케이션을 오케스트레이션하는 데 사용되지만, 이 시나리오에서는 Glue 워크플로우보다 비용이 더 많이 들 수 있습니다. AWS Glue Studio는 Glue ETL 작업을 시각적으로 생성하고 편집하는 데 사용되는 도구이며, 오케스트레이션 기능은 제한적입니다. Amazon MWAA는 Apache Airflow를 기반으로 하지만, Glue 워크플로우보다 더 높은 비용과 관리 오버헤드가 발생할 수 있습니다.