Un'azienda esegue più workflow ETL che estraggono dati da database operativi in un data lake S3. Questi workflow utilizzano AWS Glue e Amazon EMR. L'azienda desidera aggiungere l'orchestrazione automatizzata riducendo al minimo lo sforzo manuale e l'overhead operativo. Quale soluzione soddisfa questi obiettivi con il MINOR overhead operativo?

AWS Step Functions è la soluzione migliore perché offre un servizio di orchestrazione serverless che coordina i workflow distribuiti. Permette di definire i workflow come macchine a stati, gestendo automaticamente stati, retry e ramificazioni, riducendo al minimo l'overhead operativo. I Workflow AWS Glue sono adatti per l'orchestrazione di job Glue, ma Step Functions offre una maggiore flessibilità per integrare servizi diversi (Glue, EMR, Lambda, ecc.). Le funzioni AWS Lambda sono ideali per l'esecuzione di codice event-driven, ma non sono uno strumento di orchestrazione di workflow. Amazon MWAA è potente per workflow complessi basati su Apache Airflow, ma comporta un maggiore overhead operativo per la gestione dell'ambiente rispetto a Step Functions.