Une entreprise de livraison en ligne stocke un modèle XGBoost par ville dans S3 et héberge actuellement chaque modèle sur sa propre instance EC2 (utilisation de 5 %). Elle souhaite que l'application web sélectionne le coursier le plus rapide en temps réel pour les utilisateurs existants et nouveaux, tout en minimisant les frais opérationnels. Quelle solution y parvient avec le moins d'effort de gestion ?

Le déploiement d'un point de terminaison multi-modèles SageMaker est la solution la plus efficace pour gérer de nombreux modèles avec un effort minimal. Le serveur multi-modèles charge dynamiquement les modèles depuis S3 en fonction du paramètre TargetModel, ce qui réduit considérablement les coûts opérationnels et la gestion par rapport à des instances EC2 séparées ou des points de terminaison SageMaker individuels. Cette approche permet de consolider l'inférence pour tous les modèles sur une seule instance ou un petit groupe d'instances, optimisant ainsi l'utilisation des ressources. Les autres options sont moins optimales : Le traitement par lots avec un bloc-notes SageMaker n'est pas adapté aux prédictions en temps réel et générerait des fichiers S3 massifs. Consolider sur une seule instance EC2 avec un serveur de modèles personnalisé augmente l'effort de gestion et ne bénéficie pas des optimisations de SageMaker. Créer des points de terminaison SageMaker distincts par ville entraînerait un grand nombre de points de terminaison, augmentant la complexité de gestion et les coûts.