Een data engineer moet een pipeline orkestreren die bestaat uit één AWS Lambda-functie gevolgd door één AWS Glue-taak en moet gebruikmaken van AWS-beheerde services. Welke aanpak levert dit op met de minste operationele overhead?

AWS Step Functions biedt een serverloze manier om workflows te orkestreren, wat resulteert in de minste operationele overhead. Het is ontworpen voor het coördineren van gedistribueerde applicaties en microservices met behulp van visuele workflows. Het kan direct AWS Lambda-functies en AWS Glue-taken aanroepen en de status van elke stap bijhouden. De opties met Apache Airflow (op EC2 of EKS) vereisen het beheer van de Airflow-infrastructuur zelf, wat aanzienlijke operationele overhead met zich meebrengt. Hoewel Airflow een krachtige orchestrator is, is het niet de optie met de minste operationele overhead in dit specifieke scenario, gezien de beschikbaarheid van volledig beheerde AWS-services. Een AWS Glue-workflow kan Glue-taken orkestreren, maar het direct aanroepen van een Lambda-functie als de eerste stap is minder gestroomlijnd en flexibel dan met Step Functions, dat is gebouwd voor het coördineren van diverse AWS-services.