Un point de terminaison SageMaker de production est configuré avec la mise à l'échelle automatique. Pendant les tests, l'équipe observe que de nouvelles instances sont lancées, mais que le trafic leur est acheminé avant qu'elles n'aient terminé leur initialisation. Vous devez empêcher les nouvelles instances de recevoir du trafic tant qu'elles ne sont pas prêtes. Quel changement devriez-vous apporter ?

L'augmentation de la période de temporisation (cooldown period) pour les activités de scale-out est la solution correcte. Cette période définit le temps d'attente après une activité de mise à l'échelle avant qu'une autre ne puisse être lancée. En l'augmentant, vous donnez aux nouvelles instances suffisamment de temps pour s'initialiser et charger le modèle avant de commencer à recevoir du trafic, évitant ainsi les erreurs dues à des instances non prêtes. Diminuer la période de temporisation pour le scale-in et augmenter la capacité maximale ne résoudrait pas le problème d'initialisation. Remplacer par un point de terminaison multi-modèle n'est pas pertinent pour ce problème spécifique de temps d'initialisation des instances. Placer API Gateway et Lambda devant le point de terminaison ajouterait de la complexité sans résoudre directement le problème d'initialisation des instances SageMaker lors du scale-out.