Een bedrijf voert meerdere ETL-workflows uit die gegevens uit operationele databases naar een S3 data lake halen. Deze workflows gebruiken AWS Glue en Amazon EMR. Het bedrijf wil geautomatiseerde orkestratie toevoegen en tegelijkertijd de handmatige inspanning en operationele overhead minimaliseren. Welke oplossing voldoet aan deze doelen met de MINSTE operationele overhead?

AWS Step Functions biedt een serverloze manier om gedistribueerde applicaties en workflows te orkestreren, inclusief ETL-processen. Het integreert naadloos met AWS Glue en Amazon EMR, waardoor de orkestratie van complexe, stapsgewijze workflows met minimale operationele overhead mogelijk is. Step Functions beheert de status, foutafhandeling en herhalingen automatisch. AWS Glue workflows kunnen Glue-jobs orkestreren, maar zijn minder flexibel voor het integreren van andere services zoals EMR in complexe, stateful workflows. AWS Lambda-functies zijn geschikt voor het uitvoeren van korte, event-gestuurde taken, maar zijn minder ideaal voor het orkestreren van langlopende, complexe ETL-processen. Amazon MWAA biedt krachtige orkestratie op basis van Apache Airflow, maar vereist meer operationele overhead voor het beheer van de Airflow-omgeving dan Step Functions.