Un scientifique des données entraîne un grand modèle PyTorch sur SageMaker ; chaque tâche d'entraînement prend environ 10 heures. Il soupçonne que l'entraînement ne converge pas et que l'utilisation du GPU pourrait être faible. Quelle approche nécessite le moins d'effort de développement pour détecter et résoudre ces problèmes d'entraînement ?

La bonne réponse est d'utiliser les règles intégrées de SageMaker Debugger telles que vanishinggradient et LowGPUUtilization. SageMaker Debugger est conçu pour surveiller les tâches d'entraînement en temps réel, détecter les problèmes courants comme les gradients évanouissants (qui indiquent une non-convergence) ou une faible utilisation du GPU (qui suggère une sous-utilisation des ressources), et peut automatiquement arrêter la tâche. Cela minimise l'effort de développement car il s'agit d'une fonctionnalité intégrée spécifiquement pour ce type de scénario. L'utilisation des métriques CPU dans CloudWatch est incorrecte car le problème concerne l'utilisation du GPU, et les métriques CPU ne seraient pas pertinentes. Publier des métriques personnalisées haute résolution sur CloudWatch et utiliser une fonction Lambda est une solution plus complexe qui demande plus d'effort de développement et de maintenance. Enfin, les règles confusion et featureimportanceoverweight ne sont pas des règles intégrées de SageMaker Debugger pour la détection des problèmes de convergence ou d'utilisation du GPU.