Инженер данных разрабатывает гибридный рабочий процесс оркестрации данных, который использует как локальные, так и облачные ресурсы, и хочет отдать приоритет переносимости и инструментам с открытым исходным кодом. Какую службу следует использовать в обеих средах?

Amazon Managed Workflows for Apache Airflow (Amazon MWAA) — это полностью управляемый сервис для Apache Airflow, который позволяет оркестрировать рабочие процессы данных. Apache Airflow является инструментом с открытым исходным кодом, широко используемым для создания, планирования и мониторинга рабочих процессов. Его открытый исходный код и широкое сообщество обеспечивают высокую переносимость рабочих процессов между локальными и облачными средами, что соответствует требованиям сценария. AWS Data Exchange — это сервис для поиска, подписки и использования сторонних данных, а не для оркестрации. Amazon Simple Workflow Service (Amazon SWF) — это сервис оркестрации, но он не основан на открытом исходном коде и менее гибок для гибридных сценариев по сравнению с Airflow. AWS Glue — это сервис ETL, а не оркестратор рабочих процессов.