Vous devez héberger un modèle entraîné qui reçoit un taux de requêtes irrégulier au cours de la journée. L'hébergement doit s'adapter à la demande de pointe tout en minimisant les coûts en période d'inactivité. Quelle approche d'hébergement répond à ces contraintes ?

L'approche correcte consiste à déployer le modèle sur un point de terminaison Amazon SageMaker et à configurer des politiques d'autoscaling basées sur les métriques Amazon CloudWatch. SageMaker Endpoint est conçu pour l'inférence de modèles et l'autoscaling permet d'ajuster dynamiquement le nombre d'instances en fonction de la charge de requêtes, ce qui répond aux exigences de demande irrégulière et de minimisation des coûts. Les fonctions AWS Lambda avec une concurrence fixe ne sont pas idéales car la concurrence fixe ne s'adapte pas dynamiquement aux requêtes irrégulières, et les fonctions Lambda ont des limites de durée d'exécution et de taille de package qui peuvent être contraignantes pour les modèles complexes. Déployer sur un cluster Amazon ECS sur AWS Fargate avec un nombre statique de tâches dimensionnées pour la charge de pointe entraînerait des coûts élevés en période d'inactivité, car les ressources seraient provisionnées en permanence pour le pic de demande. Héberger plusieurs copies du modèle derrière un Application Load Balancer en les déployant sur un point de terminaison SageMaker et utiliser l'ALB pour distribuer le trafic entre les copies est redondant et moins efficace que l'autoscaling natif de SageMaker, car SageMaker gère déjà la distribution de trafic et l'autoscaling.