ShopScale exécute des dizaines de tâches d'entraînement SageMaker (mode script avec XGBoost intégré) dans le cadre d'une expérience. Chaque tâche d'entraînement enregistre une métrique 'validation:accuracy' à chaque époque dans le TrialComponent. L'équipe ML a besoin d'un rapport programmatique automatisé qui compare la métrique validation:accuracy à l'époque 10 pour tous les composants d'essai de l'expérience afin de choisir la meilleure exécution pour le déploiement. Quelle approche fournira le moyen le plus direct et programmatique d'agréger cette métrique sur toutes les exécutions ?

La classe sagemaker.analytics.TrialComponentAnalytics est conçue spécifiquement pour agréger et analyser les métriques et les paramètres des TrialComponents dans SageMaker Experiments. Elle permet de filtrer facilement par nom de métrique et époque, offrant ainsi le moyen le plus direct et programmatique de comparer la métrique validation:accuracy à l'époque 10 pour tous les essais. Interroger CloudWatch directement serait plus complexe car il faudrait identifier les métriques spécifiques à chaque TrialComponent et les mapper manuellement. Exporter les journaux vers S3 et utiliser Glue ETL est une approche lourde et indirecte pour une tâche que SageMaker Experiments gère nativement. SageMaker Model Monitor est destiné à la surveillance des modèles déployés en production, pas à l'analyse des métriques d'entraînement d'expériences.