Une entreprise héberge un classifieur d'images CNN PyTorch personnalisé sur un endpoint SageMaker et souhaite obtenir un débit plus élevé et une latence plus faible pour les utilisateurs. Quelle est l'option la plus rentable pour améliorer les performances ?

L'activation d'Amazon Elastic Inference (EI) est la solution la plus rentable car elle permet d'ajouter une accélération GPU à un endpoint SageMaker existant sans avoir à provisionner des instances GPU complètes. Cela réduit les coûts tout en améliorant le débit et la latence, car EI est optimisé pour les charges de travail d'inférence. Réentraîner le CNN avec plus de couches et un ensemble de données plus grand ou plus petit n'améliorera pas directement les performances d'inférence du modèle déployé et peut même augmenter la latence. Changer le type d'instance SageMaker pour des GPU multiples serait efficace mais beaucoup plus coûteux que l'utilisation d'Elastic Inference, qui est spécifiquement conçue pour l'inférence rentable.