Un data engineer deve orchestrare una pipeline che include una singola funzione AWS Lambda seguita da un job AWS Glue e deve utilizzare servizi gestiti da AWS. Quale approccio offre questo risultato con il minor overhead operativo?

AWS Step Functions è un servizio di orchestrazione serverless completamente gestito che consente di coordinare i componenti delle applicazioni distribuite e dei microservizi utilizzando workflow visivi. Offre il minor overhead operativo perché gestisce automaticamente lo stato, i tentativi e la gestione degli errori, integrandosi nativamente con Lambda e Glue. Le altre opzioni aumentano l'overhead operativo: Distribuire Apache Airflow su Amazon EC2 o EKS richiede la gestione dell'infrastruttura sottostante (server EC2, cluster EKS, installazione e manutenzione di Airflow), che è un overhead significativo. Un workflow di AWS Glue è progettato principalmente per orchestare i job Glue e non è l'opzione più flessibile o nativa per invocare una funzione Lambda come primo passo indipendente, anche se tecnicamente possibile tramite un job Glue Python che invoca Lambda. Step Functions è la soluzione più appropriata per questo tipo di orchestrazione mista.