Компания в настоящее время использует Apache Airflow локально для оркестрации конвейеров данных, которые включают проверки качества данных SQL. Они хотят мигрировать в AWS, используя управляемые сервисы, и минимизировать рефакторинг. Какое решение позволит достичь этого с наименьшим изменением кода?

Amazon Managed Workflows for Apache Airflow (MWAA) — это управляемый сервис, который позволяет запускать Apache Airflow в AWS без необходимости управлять базовой инфраструктурой. Поскольку компания уже использует Apache Airflow локально, миграция в MWAA требует минимального рефакторинга, так как DAG-файлы и логика оркестрации остаются практически неизменными. Интеграция проверок качества данных SQL как задач Airflow в MWAA — это естественное продолжение существующей практики. Остальные варианты требуют значительного рефакторинга или не соответствуют цели использования управляемых сервисов. AWS Outposts и Amazon EC2 с пользовательским AMI предполагают управление инфраструктурой, что противоречит цели использования управляемых сервисов. Перестройка конвейеров в AWS Step Functions и AWS Lambda требует полного переписывания логики оркестрации и проверок, что является значительным рефакторингом.