Een data engineer moet een set ETL-taken in Python orkestreren, waaronder het uitvoeren van Spark-jobs op Amazon EMR, het aanroepen van Salesforce API's en het laden van gegevens in Amazon Redshift. De orkestratie moet automatisch retries en failures afhandelen. Welke AWS-service moet de engineer gebruiken?

Amazon MWAA is de beste keuze omdat het een volledig beheerde service is voor Apache Airflow, een open-source platform voor het programmatisch creëren, plannen en monitoren van workflows. Het is ideaal voor complexe ETL-processen die Spark-jobs, API-aanroepen en data-loads omvatten, en biedt ingebouwde functionaliteit voor retries en failure handling. AWS Step Functions is geschikt voor het orkestreren van gedistribueerde applicaties en microservices, maar is minder gericht op de complexe, data-intensieve ETL-workflows die Airflow aankan. AWS Glue is een serverloze ETL-service die voornamelijk gericht is op het transformeren van gegevens, niet op de orkestratie van diverse taken zoals API-aanroepen. Amazon EventBridge is een serverloze event bus die voornamelijk wordt gebruikt voor het routeren van gebeurtenissen tussen applicaties, niet voor het orkestreren van sequentiële ETL-taken.