Une équipe a entraîné un CNN sur Amazon SageMaker avec des GPU et va le déployer sur un point de terminaison SageMaker pour l'identification d'images minérales en temps réel. Ils connaissent déjà le modèle de trafic attendu et doivent choisir le meilleur type d'instance et la meilleure configuration. Quelle approche nécessite le moins d'effort de développement pour choisir la bonne configuration d'instance ?

L'option correcte est d'utiliser le type de tâche avancé de SageMaker Inference Recommender. Cette approche est conçue pour minimiser l'effort de développement car elle automatise le processus de test de charge et de sélection du type d'instance optimal en fonction du modèle de trafic fourni. Le mode avancé permet une configuration plus détaillée et des tests plus approfondis, ce qui est crucial pour un modèle de trafic connu et des exigences de performance spécifiques. L'enregistrement du modèle et du conteneur dans le SageMaker Model Registry est une étape préalable nécessaire pour utiliser Inference Recommender. L'option utilisant le type de tâche par défaut de SageMaker Inference Recommender est moins appropriée car le mode par défaut peut ne pas offrir la granularité ou la profondeur de test nécessaire pour un modèle de trafic connu et des exigences précises, ce qui pourrait entraîner des sous-optimisations. Les options impliquant le déploiement manuel sur un point de terminaison et l'utilisation d'outils open source pour les tests de charge nécessitent un effort de développement et d'ingénierie opérationnelle significatif pour configurer, exécuter et analyser les tests, ce qui contredit l'objectif de minimiser l'effort. De plus, le choix entre instances GPU et CPU dépendrait des performances réelles du modèle, que Inference Recommender peut aider à déterminer automatiquement.