Une entreprise exécute des inférences en temps réel avec SageMaker. L'auto scaling des instances EC2 qui soutiennent le point de terminaison lance de nouvelles instances avant que les instances de scale-out précédentes ne soient entièrement prêtes, ce qui entraîne des inefficacités et des retards. Quel changement améliorera le comportement de mise à l'échelle tout en préservant les performances du temps de réponse ?

Augmenter la période de "cooldown" après les activités de scale-out est la solution. Le "cooldown" est une période d'attente après une activité de mise à l'échelle, pendant laquelle de nouvelles actions de mise à l'échelle ne sont pas déclenchées. En augmentant cette période après un scale-out, on donne suffisamment de temps aux nouvelles instances pour s'initialiser complètement et être prêtes à traiter les requêtes avant que l'auto scaling ne prenne d'autres décisions, évitant ainsi les inefficacités et les retards. Passer à une configuration de point de terminaison multi-modèles n'adresse pas directement le problème de l'initialisation des instances. Intégrer API Gateway et Lambda ajouterait une couche de gestion mais ne résoudrait pas le problème sous-jacent de l'auto scaling. Diminuer la période de "cooldown" pour le scale-in et augmenter le nombre maximal d'instances ne résoudrait pas le problème des instances qui ne sont pas prêtes après un scale-out.