Специалист по данным обучает большую модель PyTorch в SageMaker; каждая задача обучения занимает около 10 часов. Он подозревает, что обучение не сходится и что использование GPU может быть низким. Какой подход требует наименьших усилий по разработке для обнаружения и устранения этих проблем с обучением?

Правильный ответ — использование встроенных правил SageMaker Debugger, таких как vanishinggradient и LowGPUUtilization. SageMaker Debugger предназначен для мониторинга и анализа проблем обучения моделей, включая неэффективное использование ресурсов (например, низкую загрузку GPU) и проблемы сходимости (например, исчезающий градиент). Эти правила легко настраиваются и могут автоматически останавливать задание обучения, что минимизирует затраты на разработку и предотвращает ненужные расходы. Использование метрик ЦП в CloudWatch не поможет обнаружить низкую загрузку GPU или проблемы сходимости. Публикация пользовательских метрик высокого разрешения в CloudWatch и использование Lambda требует значительных усилий по разработке и поддержке. Правила confusion и featureimportanceoverweight не относятся к проблемам низкой загрузки GPU или исчезающего градиента.