Un ingénieur de données doit orchestrer un ensemble de tâches ETL en Python qui incluent l'exécution de jobs Spark sur Amazon EMR, l'appel d'API Salesforce et le chargement de données dans Amazon Redshift. L'orchestration doit gérer automatiquement les tentatives et les échecs. Quel service AWS l'ingénieur doit-il utiliser ?

Amazon MWAA est le service le plus approprié car il fournit une plateforme gérée pour Apache Airflow, un orchestrateur de workflows open source. Airflow permet de définir des workflows complexes (DAGs) en Python, ce qui est idéal pour enchaîner des tâches ETL variées comme l'exécution de jobs Spark sur EMR, l'appel d'API externes (Salesforce) et le chargement dans Redshift. Il gère nativement la planification, les dépendances, les tentatives automatiques et la gestion des échecs, répondant ainsi aux exigences du scénario. AWS Step Functions est excellent pour orchestrer des workflows basés sur des fonctions sans serveur, mais il est moins adapté pour des scripts Python complexes et des jobs Spark longs que MWAA. AWS Glue est un service ETL sans serveur, mais il se concentre sur l'exécution des jobs ETL eux-mêmes, pas sur l'orchestration de workflows hétérogènes. Amazon EventBridge est un bus d'événements qui peut déclencher des workflows, mais il n'est pas un orchestrateur de workflows complet comme MWAA.