A ShopScale executa dezenas de trabalhos de treinamento do SageMaker (modo de script com XGBoost integrado) em um Experiment. Cada trabalho de treinamento registra uma métrica 'validation:accuracy' em cada época no TrialComponent. A equipe de ML precisa de um relatório programático automatizado que compare a 'validation:accuracy' na época 10 em todos os componentes de teste no Experiment para escolher a melhor execução para implantação. Qual abordagem fornecerá a maneira mais direta e programática de agregar essa métrica em todas as execuções?

A opção correta é usar sagemaker.analytics.TrialComponentAnalytics. Esta classe do SDK do SageMaker foi projetada especificamente para analisar métricas registradas em componentes de teste de experimentos. Ela permite filtrar por nome da métrica e época, fornecendo uma maneira direta e programática de agregar e comparar a validation:accuracy na época 10 em todos os trabalhos de treinamento, o que é exatamente o que a equipe de ML precisa. Consultar métricas do CloudWatch diretamente é possível, mas é mais complexo, pois exigiria a correlação manual das métricas do CloudWatch com os componentes de teste do Experiment, o que não é a abordagem mais direta. Exportar logs para o S3 e usar o Glue ETL é excessivamente complexo e ineficiente para essa tarefa, que já é bem suportada pelo SageMaker Experiments. O SageMaker Model Monitor é usado para monitorar modelos em produção e detectar desvios de dados ou desempenho, não para comparar execuções de treinamento dentro de um Experiment.