ShopScale запускает десятки обучающих заданий SageMaker (режим скрипта со встроенным XGBoost) в рамках Experiment. Каждое обучающее задание записывает метрику 'validation:accuracy' на каждой эпохе в TrialComponent. Команде ML нужен автоматизированный программный отчет, который сравнивает validation:accuracy на 10-й эпохе для всех компонентов Trial в Experiment, чтобы выбрать лучший запуск для развертывания. Какой подход обеспечит наиболее прямой, программный способ агрегирования этой метрики по всем запускам?

SageMaker Experiments Python SDK, в частности sagemaker.analytics.TrialComponentAnalytics, разработан специально для анализа и сравнения метрик из различных TrialComponent в эксперименте. Он позволяет напрямую фильтровать по имени метрики (validation:accuracy) и эпохе (10-я эпоха), предоставляя наиболее прямой и программный способ агрегирования и сравнения этих данных. Запрос CloudWatch Metrics напрямую сложен, поскольку метрики CloudWatch не всегда содержат информацию об эпохах и требуют сложного сопоставления с TrialComponent. Экспорт журналов в S3 и использование Glue ETL является избыточным и менее эффективным, так как SageMaker Experiments уже предоставляет структурированный доступ к этим данным. SageMaker Model Monitor предназначен для мониторинга производительности развернутых моделей в производстве, а не для сравнения метрик обучения в рамках эксперимента.