Une entreprise dispose d'un modèle ML entraîné dans Amazon SageMaker qui doit être hébergé en production avec une haute disponibilité, une latence minimale et la capacité de gérer des pics de requêtes imprévisibles. Chaque requête sera comprise entre 1 Ko et 3 Mo. La capacité d'inférence doit s'adapter proportionnellement à la demande. Comment l'entreprise doit-elle déployer le modèle ?

L'option correcte est de créer un point de terminaison d'inférence en temps réel SageMaker avec autoscaling. SageMaker est conçu pour l'hébergement de modèles ML, offrant une haute disponibilité, une faible latence et une mise à l'échelle automatique pour gérer les pics de trafic, ce qui correspond parfaitement aux exigences. Les requêtes de 1 Ko à 3 Mo sont bien gérées par les points de terminaison en temps réel. Les autres options sont moins adaptées : Héberger le modèle dans un cluster Amazon ECS avec mise à l'échelle planifiée est moins optimisé pour les charges de travail ML et la mise à l'échelle planifiée ne gère pas bien les pics imprévisibles. Utiliser l'opérateur SageMaker sur Amazon EKS ajoute de la complexité et n'est pas la solution la plus simple ou la plus native pour ce cas d'utilisation. Exécuter l'inférence sur des instances Spot est risqué pour la haute disponibilité en raison des interruptions potentielles, et bien que l'autoscaling soit possible, SageMaker est une solution plus intégrée et robuste pour l'inférence ML.