Une entreprise exécute plusieurs workflows ETL qui extraient des données de bases de données opérationnelles vers un lac de données S3. Ces workflows utilisent AWS Glue et Amazon EMR. L'entreprise souhaite ajouter une orchestration automatisée tout en minimisant l'effort manuel et la surcharge opérationnelle. Quelle solution répond à ces objectifs avec le MOINS de surcharge opérationnelle ?

AWS Step Functions est la solution la plus appropriée car elle permet d'orchestrer des flux de travail complexes, y compris ceux impliquant AWS Glue et Amazon EMR, de manière entièrement gérée et sans serveur. Cela minimise considérablement la surcharge opérationnelle car il n'y a pas de serveurs à provisionner ou à gérer. Les Workflows AWS Glue sont conçus spécifiquement pour orchestrer des jobs Glue, mais ils sont moins flexibles pour intégrer des services extérieurs à Glue ou pour gérer des logiques de branchement complexes. Les fonctions AWS Lambda sont idéales pour des tâches sans serveur et événementielles, mais orchestrer plusieurs étapes séquentielles ou parallèles avec des dépendances complexes deviendrait rapidement difficile à gérer et à maintenir avec Lambda seul. Amazon MWAA offre une grande flexibilité et puissance pour l'orchestration, mais c'est un service géré qui nécessite une certaine gestion de l'infrastructure (mise à jour des versions d'Airflow, gestion des plugins, etc.), ce qui représente une surcharge opérationnelle plus élevée que Step Functions.