데이터 엔지니어가 온프레미스 및 클라우드 리소스를 모두 사용하는 하이브리드 데이터 오케스트레이션 워크플로우를 설계하고 있으며, 이식성과 오픈 소스 도구를 우선시하고 있습니다. 두 환경에서 모두 사용해야 하는 서비스는 무엇입니까?

Amazon MWAA는 Apache Airflow를 기반으로 하는 관리형 서비스로, 온프레미스 및 클라우드 환경 모두에서 데이터 파이프라인을 프로그래밍 방식으로 작성, 예약 및 모니터링할 수 있습니다. Apache Airflow는 오픈 소스이며, DAG(Directed Acyclic Graph)를 사용하여 워크플로우를 Python 코드로 정의하므로 이식성이 뛰어납니다. 따라서 하이브리드 환경에서 이식성과 오픈 소스 도구를 우선시하는 데이터 엔지니어에게 가장 적합합니다. AWS Data Exchange는 데이터 제품을 찾고, 구독하고, 게시하는 서비스이며 워크플로우 오케스트레이션과는 관련이 없습니다. Amazon SWF는 분산된 애플리케이션의 워크플로우를 조율하는 서비스이지만, Apache Airflow만큼 데이터 파이프라인 오케스트레이션에 특화되어 있지 않고 오픈 소스 이식성 요구 사항을 충족하지 못합니다. AWS Glue는 서버리스 데이터 통합 서비스로 ETL 작업을 수행하지만, 범용 워크플로우 오케스트레이션 도구라기보다는 데이터 변환에 중점을 둡니다.