Un ensemble de tâches AWS Glue (orchestrées par un workflow AWS Glue) produit des données utilisées par les pipelines Amazon SageMaker. Les tâches Glue peuvent s'exécuter selon un calendrier ou être démarrées manuellement. Vous devez intégrer ces tâches Glue dans les pipelines SageMaker avec le moins de frais opérationnels possible. Quelle approche répond à cette exigence ?

L'utilisation des étapes de rappel (Callback steps) dans les pipelines SageMaker est la solution la plus efficace. Ces étapes permettent au pipeline de déclencher un workflow AWS Glue, puis de mettre le pipeline en pause et d'attendre un jeton de tâche (task token) de retour une fois que les tâches Glue sont terminées. Cela assure une intégration transparente et une synchronisation directe entre les pipelines SageMaker et les workflows Glue, minimisant ainsi les frais opérationnels car SageMaker gère l'orchestration et l'attente. Les autres options sont moins optimales : Utiliser AWS Step Functions pour orchestrer les deux ajoute une couche d'orchestration externe, augmentant la complexité et les frais opérationnels. Les étapes de traitement (processing steps) dans les pipelines SageMaker sont conçues pour exécuter des scripts de traitement de données ou des conteneurs personnalisés, pas pour orchestrer des workflows Glue externes de manière native avec attente. Amazon EventBridge est un excellent service d'événements, mais il ne fournit pas de mécanisme intégré pour mettre en pause un pipeline SageMaker et attendre la fin d'un workflow Glue, ce qui nécessiterait une logique supplémentaire pour gérer l'état et la synchronisation.