ShopScale esegue decine di processi di training SageMaker (modalità script con XGBoost integrato) nell'ambito di un Esperimento. Ogni processo di training registra una metrica 'validation:accuracy' ad ogni epoca nel TrialComponent. Il team ML necessita di un report programmatico automatizzato che confronti la 'validation:accuracy' all'epoca 10 tra tutti i componenti di prova nell'Esperimento per scegliere la migliore esecuzione per il deployment. Quale approccio fornirà il modo più diretto e programmatico per aggregare tale metrica tra le esecuzioni?

L'approccio più diretto e programmatico è utilizzare TrialComponentAnalytics (o sagemaker.analytics.TrialComponentAnalytics) dall'SDK Python di SageMaker Experiments. Questo strumento è specificamente progettato per analizzare e confrontare le metriche registrate dai componenti di prova all'interno di un esperimento SageMaker, permettendo di filtrare per nome della metrica ed epoca per aggregare i confronti. Interrogare direttamente le metriche di CloudWatch sarebbe macchinoso e richiederebbe una logica complessa per mappare le metriche ai componenti di prova e filtrare per epoca. Esportare i log su S3 e usare Glue ETL è un processo eccessivamente complesso e dispendioso in termini di tempo per un'attività che SageMaker Experiments gestisce nativamente. SageMaker Model Monitor è utilizzato per monitorare i modelli in produzione, non per confrontare le metriche di training all'interno di un esperimento.