Um cientista de dados treina um modelo PyTorch grande no SageMaker; cada trabalho de treinamento leva cerca de 10 horas. Ele suspeita que o treinamento não está convergindo e que a utilização da GPU pode estar baixa. Qual abordagem exige o menor esforço de desenvolvimento para detectar e resolver esses problemas de treinamento?

A opção correta é usar as regras integradas do SageMaker Debugger, como vanishinggradient e LowGPUUtilization, para detectar problemas e acionar a ação StopTrainingJob. O SageMaker Debugger foi projetado especificamente para monitorar e depurar trabalhos de treinamento de ML, oferecendo regras pré-construídas que detectam problemas comuns de treinamento, como gradientes que desaparecem (vanishing gradients) e baixa utilização da GPU. Isso exige o menor esforço de desenvolvimento, pois as regras já estão prontas e podem ser configuradas para parar o trabalho automaticamente. Usar métricas de utilização da CPU no CloudWatch não é ideal, pois o problema suspeito é a baixa utilização da GPU e a não convergência do modelo, o que não é diretamente detectado pela CPU. Publicar métricas personalizadas e usar uma função Lambda exigiria um esforço de desenvolvimento maior para criar a lógica de detecção e a função Lambda. As regras confusion e featureimportanceoverweight do SageMaker Debugger não são relevantes para detectar baixa utilização da GPU ou problemas de convergência como gradientes que desaparecem; elas são usadas para análise de modelos após o treinamento ou para problemas de engenharia de recursos.