ShopScale führt Dutzende von SageMaker-Trainingsjobs (Skriptmodus mit integriertem XGBoost) unter einem Experiment aus. Jeder Trainingsjob protokolliert in jeder Epoche eine Metrik 'validation:accuracy' in der TrialComponent. Das ML-Team benötigt einen automatisierten programmatischen Bericht, der die 'validation:accuracy' in Epoche 10 über alle TrialComponents im Experiment hinweg vergleicht, um den besten Lauf für die Bereitstellung auszuwählen. Welcher Ansatz bietet den direktesten, programmatischen Weg, diese Metrik über alle Läufe hinweg zu aggregieren?

Die Verwendung von sagemaker.analytics.TrialComponentAnalytics ist der direkteste und programmatischste Weg, da es speziell für die Analyse von Metriken aus SageMaker Experiments entwickelt wurde. Es ermöglicht das Filtern nach Metrikname und Epoche über alle TrialComponents eines Experiments hinweg und bietet Funktionen zur Aggregation und zum Vergleich. CloudWatch Metrics direkt abzufragen wäre umständlicher, da man die Metriken manuell den TrialComponents zuordnen und die Aggregation selbst implementieren müsste. Das Exportieren von Protokollen nach S3 und die Verwendung eines Glue ETL-Jobs ist ein zu aufwendiger Prozess für diese spezifische Aufgabe. SageMaker Model Monitor ist für die Überwachung von Modellen in der Produktion gedacht, nicht für den Vergleich von Trainingsläufen während der Experimentierphase.