Een bedrijf draait momenteel Apache Airflow on-premises om datapijplijnen te orkestreren die SQL-gegevenskwaliteitscontroles omvatten. Ze willen migreren naar AWS met behulp van beheerde services en refactoring minimaliseren. Welke oplossing bereikt dit met de minste codewijzigingen?

De correcte optie is om te migreren naar Amazon MWAA. MWAA is een beheerde service voor Apache Airflow, wat betekent dat het de bestaande Airflow-configuratie en DAGs (Directed Acyclic Graphs) direct kan overnemen met minimale aanpassingen, aangezien het de native Airflow API's en CLI ondersteunt. Dit minimaliseert refactoring en codewijzigingen, wat aansluit bij de vereisten van het bedrijf. De SQL-gegevenskwaliteitscontroles kunnen eenvoudig als Airflow-taken worden geïmplementeerd binnen de bestaande pijplijnen. Het instellen van AWS Outposts is een complexe en dure oplossing die voornamelijk bedoeld is voor workloads met lage latency-eisen on-premises, en niet voor een eenvoudige lift-and-shift van Airflow. Een aangepaste AMI op EC2 vereist nog steeds handmatig beheer van de Airflow-infrastructuur, wat in strijd is met het gebruik van beheerde services. Het herbouwen van pijplijnen met AWS Step Functions en Lambda-functies zou een volledige refactoring van de bestaande code vereisen, wat indruist tegen het minimaliseren van codewijzigingen.