ShopScale은 Experiment에서 수십 개의 SageMaker 학습 작업(내장 XGBoost를 사용한 스크립트 모드)을 실행합니다. 각 학습 작업은 각 epoch에서 'validation:accuracy' 메트릭을 TrialComponent에 로깅합니다. ML 팀은 배포를 위한 최상의 실행을 선택하기 위해 Experiment의 모든 trial 구성 요소에서 epoch 10의 validation:accuracy를 비교하는 자동화된 프로그래밍 방식 보고서가 필요합니다. 실행 전반에 걸쳐 해당 메트릭을 집계하는 가장 직접적이고 프로그래밍 방식은 무엇입니까?

정답은 SageMaker Experiments Python SDK의 TrialComponentAnalytics를 사용하는 것입니다. 이 클래스는 SageMaker Experiment에서 로깅된 메트릭을 프로그래밍 방식으로 쿼리하고 분석하도록 특별히 설계되었습니다. TrialComponentAnalytics를 사용하면 특정 메트릭 이름('validation:accuracy')과 epoch(10)으로 필터링하여 모든 TrialComponent에서 해당 메트릭을 쉽게 추출하고 비교할 수 있습니다. 오답인 CloudWatch Metrics 직접 쿼리는 가능하지만, SageMaker Experiments의 TrialComponent와 메트릭을 다시 매핑하는 추가적인 복잡성이 따르며, TrialComponentAnalytics보다 덜 직접적입니다. S3로 로그를 내보내고 Glue ETL 작업을 실행하는 것은 과도하게 복잡하고 비효율적입니다. SageMaker Model Monitor는 배포된 모델의 성능을 모니터링하는 데 사용되며, 학습 실험 메트릭을 분석하는 도구가 아닙니다.