Concevez un workflow ETL quotidien avec les exigences suivantes : démarrer lorsque de nouvelles données sont téléchargées vers S3 ; une fois que tous les téléchargements nécessaires sont présents, exécuter un job ETL qui joint les nouvelles données avec des jeux de données de plusieurs téraoctets dans S3 ; écrire les résultats de la jointure dans S3 ; et notifier un administrateur si un job échoue. Quelle architecture répond à ces exigences ?

L'option correcte utilise un événement S3 pour déclencher Lambda, qui lance un workflow Step Functions. Step Functions est idéal pour orchestrer des workflows complexes, y compris l'attente de plusieurs événements (tous les téléchargements nécessaires). AWS Glue est le service managé le plus approprié pour les jobs ETL à grande échelle (plusieurs téraoctets) sur S3, grâce à sa capacité de mise à l'échelle automatique et à son intégration avec S3 et les formats de données. CloudWatch et SNS sont les services standards pour la surveillance et la notification des échecs. Les autres options sont moins adaptées : SageMaker Notebooks ne sont pas conçus pour des workflows ETL automatisés et quotidiens. AWS Batch est plus adapté aux charges de travail par lots intensives en calcul, pas directement à l'orchestration ETL basée sur des événements S3. Enchaîner des fonctions Lambda pour des jointures de téraoctets est inefficace et dépasserait les limites de Lambda.