Un ingegnere dei dati deve orchestrare una serie di attività ETL in Python che includono l'esecuzione di processi Spark su Amazon EMR, la chiamata di API Salesforce e il caricamento di dati in Amazon Redshift. L'orchestrazione dovrebbe gestire automaticamente i tentativi e i fallimenti. Quale servizio AWS dovrebbe utilizzare l'ingegnere?

Amazon MWAA è la scelta migliore perché Apache Airflow è uno strumento di orchestrazione open source ampiamente utilizzato, ideale per flussi di lavoro ETL complessi e multi-servizio. Permette di definire DAG (Directed Acyclic Graphs) in Python per sequenziare attività come l'esecuzione di processi Spark su EMR, la chiamata di API esterne (Salesforce) e il caricamento su Redshift. MWAA gestisce automaticamente l'infrastruttura Airflow, inclusi i tentativi e la gestione degli errori, liberando l'ingegnere dalla complessità operativa. AWS Step Functions è ottimo per flussi di lavoro basati su stati e logica ramificata, ma Airflow offre maggiore flessibilità per la definizione di logica complessa e l'integrazione con un ecosistema più ampio di operatori. AWS Glue è un servizio ETL serverless, ma si concentra sull'esecuzione dei job ETL stessi, non sull'orchestrazione di flussi di lavoro che coinvolgono più servizi esterni. Amazon EventBridge è un bus di eventi che può attivare flussi di lavoro, ma non è uno strumento di orchestrazione per la definizione e gestione di dipendenze complesse tra le attività.