Un'azienda esegue attualmente Apache Airflow on-premises per orchestrare pipeline di dati che includono controlli di qualità dei dati SQL. L'azienda desidera migrare ad AWS utilizzando servizi gestiti e minimizzare il refactoring. Quale soluzione raggiunge questo obiettivo con la minima modifica al codice?

La risposta corretta è migrare la configurazione Airflow esistente in Amazon Managed Workflows for Apache Airflow (Amazon MWAA) e implementare i controlli di qualità dei dati SQL come task Airflow. MWAA è un servizio completamente gestito per Apache Airflow, che consente di riutilizzare le DAG (Directed Acyclic Graphs) e il codice Airflow esistenti con modifiche minime, riducendo al minimo il refactoring. I controlli di qualità dei dati SQL possono essere facilmente integrati come task Airflow. Le altre opzioni richiedono un refactoring significativo o non sfruttano appieno i servizi gestiti di AWS: Configurare AWS Outposts e spostare i server su istanze EC2 su Outposts non è un servizio completamente gestito e richiede la gestione dell'infrastruttura sottostante. Creare un'AMI personalizzata e avviare istanze EC2 richiede la gestione manuale di Airflow e dell'infrastruttura, andando contro l'obiettivo di utilizzare servizi gestiti. Ricostruire le pipeline come workflow di AWS Step Functions e convertire i controlli di qualità dei dati SQL in funzioni AWS Lambda basate su Python implica un refactoring completo delle pipeline e del codice, che è l'opposto della minimizzazione del refactoring.