Un modèle ML déployé avec Amazon SageMaker utilise Model Monitor. Après la mise à jour du modèle, l'ingénieur ML observe des échecs de qualité des données dans les vérifications de Model Monitor. Quelle action l'ingénieur doit-il entreprendre pour résoudre les problèmes de qualité des données signalés par Model Monitor ?

La bonne réponse est de générer une nouvelle base de référence. Model Monitor compare les données de production aux statistiques et aux contraintes définies dans une base de référence. Si le modèle a été mis à jour, les caractéristiques des données qu'il attend peuvent avoir changé. Une nouvelle base de référence, générée à partir des données de production les plus récentes, reflétera ces changements et permettra à Model Monitor d'évaluer correctement la qualité des données par rapport au comportement attendu du modèle mis à jour. Ajuster les paramètres du modèle (première option) ne résoudra pas les problèmes de qualité des données détectés par Model Monitor, car cela concerne la détection des anomalies dans les données d'entrée, et non la performance intrinsèque du modèle. Démarrer une tâche Model Monitor manuelle (deuxième option) ne fera que relancer le même processus avec la même base de référence obsolète, produisant les mêmes échecs. Ajouter plus d'exemples d'entraînement (quatrième option) est une action pour améliorer la performance du modèle ou corriger le biais, mais pas pour résoudre les alertes de qualité des données de Model Monitor.