ML-инженер обучает нейронную сеть в ноутбуке SageMaker Studio с использованием estimator. В тренировочном скрипте Python используется Distributed Data Parallel (DDP) на одном экземпляре с несколькими GPU, но GPU недоиспользуются. Инженеру необходимо найти место в тренировочном скрипте, где можно оптимизировать использование ресурсов. Какой подход позволит определить эту точку?

SageMaker Profiler — это специализированный инструмент для анализа производительности тренировочных заданий машинного обучения. Добавление аннотаций в тренировочный скрипт позволяет Profiler собирать подробные метрики на уровне кода, такие как время выполнения операций, использование GPU, CPU и памяти. Затем сгенерированный отчет профилировщика точно укажет на узкие места в коде, которые приводят к недоиспользованию GPU, что делает его идеальным для оптимизации DDP на одном экземпляре с несколькими GPU. Метрики CloudWatch показывают общую загрузку GPU, но не указывают на конкретные строки кода или операции, вызывающие недоиспользование. CloudTrail отслеживает действия API и события управления, а не метрики производительности GPU во время тренировки. SageMaker Model Monitor предназначен для мониторинга производительности и дрейфа модели после развертывания, а не для профилирования тренировочного процесса.