Un pipeline ML doit démarrer automatiquement un travail de réentraînement chaque fois qu'une dérive des données est détectée. Comment l'ingénieur doit-il configurer le pipeline pour détecter la dérive et déclencher le réentraînement ?

La bonne réponse est d'utiliser SageMaker Model Monitor pour détecter la dérive des données et une fonction AWS Lambda pour déclencher le réentraînement. SageMaker Model Monitor est spécifiquement conçu pour surveiller la qualité des modèles ML en production, y compris la détection de la dérive des données (data drift) et de la dérive du concept (concept drift). Il peut être configuré pour analyser les données d'inférence et comparer leur distribution à celle des données d'entraînement. Lorsqu'une dérive est détectée, Model Monitor peut émettre des métriques vers Amazon CloudWatch Events, qui peuvent ensuite déclencher une fonction AWS Lambda. Cette fonction Lambda peut alors initier le travail de réentraînement du modèle. Les autres options sont moins appropriées : AWS Glue est un service ETL et un crawler est utilisé pour découvrir des schémas, pas pour détecter la dérive des données de manière proactive pour un modèle ML en production. Amazon Managed Service for Apache Flink est un service de traitement de flux en temps réel, mais il n'est pas optimisé pour la détection de la dérive des données des modèles ML comme l'est SageMaker Model Monitor. Amazon QuickSight est un service de BI et de visualisation. Sa fonction de détection d'anomalies est destinée à l'analyse des données commerciales, pas à la surveillance de la dérive des données pour les modèles ML en production.