데이터 엔지니어는 단일 AWS Lambda 함수와 그 뒤에 오는 AWS Glue 작업을 포함하는 파이프라인을 오케스트레이션해야 하며, AWS 관리형 서비스를 사용해야 합니다. 운영 오버헤드가 가장 적은 접근 방식은 무엇입니까?

AWS Step Functions는 복잡한 워크플로우를 시각적으로 정의하고 오케스트레이션하는 데 최적화된 완전 관리형 서비스입니다. Lambda 함수와 Glue 작업의 순차적 실행을 상태 머신으로 쉽게 모델링할 수 있어 운영 오버헤드가 가장 적습니다. Apache Airflow를 EC2나 EKS에 배포하는 것은 인프라 관리 및 유지보수 비용이 발생하므로 운영 오버헤드가 높습니다. AWS Glue 워크플로우는 Glue 작업 오케스트레이션에 특화되어 있지만, Lambda 함수를 직접 실행하는 기능은 제한적이거나 추가적인 구성이 필요할 수 있어 Step Functions만큼 유연하지 않습니다.