Um engenheiro de ML treina uma rede neural em um notebook do SageMaker Studio usando um estimador. O script de treinamento Python usa Distributed Data Parallel (DDP) em uma única instância com várias GPUs, mas as GPUs estão sendo subutilizadas. O engenheiro precisa descobrir em qual parte do script de treinamento otimizar o uso de recursos. Qual abordagem identificará esse ponto?

O SageMaker Profiler é a ferramenta correta porque foi projetado especificamente para identificar gargalos de desempenho em scripts de treinamento de ML, incluindo a utilização da GPU. Ao adicionar anotações ao script, ele pode coletar dados detalhados sobre o tempo gasto em diferentes operações e o uso de recursos, como a GPU, e gerar um relatório que aponta as áreas para otimização. Métricas do CloudWatch fornecem dados de alto nível, mas não detalham o que está causando a subutilização dentro do script. O AWS CloudTrail registra chamadas de API e eventos de serviço, não métricas de desempenho de recursos como a utilização da GPU. O SageMaker Model Monitor é usado para monitorar a qualidade do modelo em produção, não para otimizar o desempenho do treinamento.