Une équipe de véhicules autonomes utilise le transfert learning avec PyTorch et le SageMaker SDK. Elle doit réduire le temps d'inférence pour une utilisation de conduite autonome à faible latence. Quel processus doit-elle utiliser pour analyser et améliorer les performances d'inférence du modèle ?

L'élagage de modèle est une technique efficace pour réduire la taille du modèle et améliorer le temps d'inférence, essentielle pour les applications à faible latence comme la conduite autonome. SageMaker Debugger permet d'inspecter les composants internes du modèle (poids, gradients, biais, activations) pendant l'entraînement. Ces informations sont cruciales pour identifier les filtres à faible rang qui contribuent peu aux performances du modèle. En élaguant ces filtres, le modèle devient plus petit et plus rapide, sans perte significative de précision. Le réentraînement du modèle élagué permet de récupérer toute perte de performance et d'optimiser les poids restants. Les autres options sont moins efficaces ou incorrectes : L'utilisation des métriques d'algorithme CloudWatch pour l'élagage n'est pas une fonctionnalité native de CloudWatch. Ajuster les hyperparamètres pour l'inférence n'est pas la méthode principale pour réduire la latence, et Debugger ne sert pas à ajuster les hyperparamètres directement pour l'inférence. SageMaker Model Monitor est utilisé pour la dérive de modèle et la qualité des données après le déploiement, pas pour l'optimisation de la latence via l'élagage.