RetailVision dispose de 240 modèles de personnalisation par magasin (chacun d'environ 120 Mo) qui sont interrogés peu fréquemment (plusieurs minutes entre les requêtes par modèle). Ils hébergent actuellement chaque modèle en tant que point de terminaison distinct, ce qui est coûteux. Ils souhaitent consolider pour minimiser les coûts tout en maintenant une latence de démarrage à froid acceptable lorsqu'un modèle est demandé pour la première fois. Quelle est la meilleure approche d'hébergement SageMaker pour réduire les coûts dans ce scénario ?

L'approche du point de terminaison multi-modèles SageMaker est la plus rentable car elle permet de consolider plusieurs modèles sur un seul point de terminaison, réduisant ainsi le nombre d'instances EC2 nécessaires. Le chargement des modèles à la demande depuis S3 minimise l'utilisation de la mémoire et gère la latence de démarrage à froid pour les modèles rarement utilisés. L'option d'utiliser des instances EC2 personnalisées est coûteuse en gestion et ne bénéficie pas des optimisations de SageMaker. Les 240 points de terminaison multi-conteneurs, même avec autoscaling à zéro, restent coûteux en frais de gestion et de démarrage à froid fréquents. L'inférence asynchrone n'est pas adaptée aux requêtes peu fréquentes avec une latence acceptable, et maintenir une concurrence minimale de 1 pour chaque modèle est coûteux.