Un ingénieur de données doit orchestrer un pipeline qui inclut une seule fonction AWS Lambda suivie d'un job AWS Glue et doit utiliser des services gérés par AWS. Quelle approche permet d'y parvenir avec le moins de surcharge opérationnelle ?

La création d'une machine d'état AWS Step Functions est la solution la plus appropriée car elle offre une orchestration entièrement gérée avec une surcharge opérationnelle minimale. Step Functions permet de définir facilement des flux de travail complexes, d'invoquer des fonctions Lambda et de démarrer des jobs Glue de manière séquentielle, avec une gestion intégrée des erreurs, des tentatives et des états. Les options impliquant Apache Airflow (sur EC2 ou EKS) introduisent une surcharge opérationnelle significative due à la nécessité de gérer l'infrastructure Airflow elle-même (déploiement, maintenance, mise à l'échelle), ce qui va à l'encontre de l'objectif de minimisation de la surcharge. L'utilisation d'un workflow AWS Glue n'est pas idéale car les workflows Glue sont principalement conçus pour orchestrer des jobs Glue entre eux, et bien qu'ils puissent appeler des fonctions Lambda, Step Functions offre une flexibilité et une puissance d'orchestration supérieures pour des séquences impliquant des services variés.