ShopScale uruchamia dziesiątki zadań treningowych SageMaker (tryb skryptowy z wbudowanym XGBoost) w ramach Eksperymentu. Każde zadanie treningowe loguje metrykę 'validation:accuracy' w każdej epoce do TrialComponent. Zespół ML potrzebuje zautomatyzowanego raportu programistycznego, który porównuje 'validation:accuracy' w epoce 10 we wszystkich komponentach próbnych w Eksperymencie, aby wybrać najlepsze uruchomienie do wdrożenia. Które podejście zapewni najbardziej bezpośredni, programistyczny sposób agregacji tej metryki w różnych uruchomieniach?

Poprawna odpowiedź to użycie SageMaker Experiments Python SDK TrialComponentAnalytics. Ten moduł jest zaprojektowany specjalnie do analizowania metryk i parametrów z komponentów próbnych w eksperymentach SageMaker. Pozwala programowo filtrować dane według nazwy metryki ('validation:accuracy') i epoki (10), a następnie agregować i porównywać wyniki, co jest dokładnie tym, czego potrzebuje zespół. Bezpośrednie zapytanie CloudWatch Metrics byłoby bardziej złożone i wymagałoby ręcznego mapowania, ponieważ CloudWatch nie ma wbudowanej wiedzy o strukturze eksperymentów SageMaker. Eksportowanie logów do S3 i użycie Glue ETL jest zbyt skomplikowane i czasochłonne dla tego zadania. SageMaker Model Monitor służy do monitorowania modeli w produkcji, a nie do analizy metryk treningowych w eksperymentach.