ShopScale draait tientallen SageMaker trainingstaken (scriptmodus met ingebouwde XGBoost) onder een Experiment. Elke trainingstaak logt een metric 'validation:accuracy' bij elke epoch in de TrialComponent. Het ML-team heeft een geautomatiseerd programmatisch rapport nodig dat de validation:accuracy bij epoch 10 vergelijkt over alle trial components in het Experiment om de beste run voor deployment te kiezen. Welke benadering biedt de meest directe, programmatische manier om die metric over runs te aggregeren?

De TrialComponentAnalytics klasse (beschikbaar via sagemaker.analytics.TrialComponentAnalytics) is specifiek ontworpen om programmatisch metrics en hyperparameters van SageMaker Experiment trials en trial components te analyseren en te vergelijken. Het stelt gebruikers in staat om eenvoudig te filteren op specifieke metrics (zoals 'validation:accuracy') en stappen (epochs), en geaggregeerde vergelijkingen uit te voeren, wat direct aansluit bij de vraag. CloudWatch Metrics bevragen is minder efficiënt omdat het een indirecte methode is die meer handmatige koppeling tussen metrics en trial components vereist. Logs exporteren naar S3 en een Glue ETL-taak uitvoeren is te omslachtig en tijdrovend voor deze taak, aangezien SageMaker Experiments al de benodigde structuur biedt. SageMaker Model Monitor is bedoeld voor het monitoren van deployed modellen in productie, niet voor het vergelijken van trainingsruns binnen een experiment.