ShopScale ejecuta docenas de trabajos de entrenamiento de SageMaker (modo script con XGBoost incorporado) bajo un Experiment. Cada trabajo de entrenamiento registra una métrica 'validation:accuracy' en cada época en el TrialComponent. El equipo de ML necesita un informe programático automatizado que compare la 'validation:accuracy' en la época 10 en todos los componentes de prueba del Experiment para elegir la mejor ejecución para la implementación. ¿Qué enfoque proporcionará la forma más directa y programática de agregar esa métrica en todas las ejecuciones?

La opción correcta es usar sagemaker.analytics.TrialComponentAnalytics porque está diseñada específicamente para analizar métricas registradas en los componentes de prueba de SageMaker Experiments. Permite filtrar y agregar métricas como validation:accuracy en una época específica (época 10 en este caso) de manera programática y eficiente, facilitando la comparación entre todas las ejecuciones. Consultar CloudWatch Metrics directamente sería más complejo y menos directo, ya que requeriría mapear manualmente las métricas de CloudWatch a los TrialComponents. Exportar registros a S3 y usar Glue ETL es una solución excesivamente compleja y menos eficiente para esta tarea específica. SageMaker Model Monitor está diseñado para monitorear modelos en producción, no para comparar métricas de entrenamiento entre diferentes ejecuciones de un experimento.