Un ingénieur ML configure l'auto scaling pour un composant d'inférence derrière un point de terminaison Amazon SageMaker avec une politique de suivi de cible de 100 invocations par modèle et par minute. Le point de terminaison se met à l'échelle normalement pendant les heures de bureau, mais au début de chaque journée de travail, il n'y a aucune instance disponible pour traiter les requêtes, ce qui entraîne des retards. Comment l'ingénieur doit-il s'assurer que le point de terminaison peut gérer les requêtes entrantes au début de chaque journée de travail ?

La bonne approche consiste à utiliser une politique de mise à l'échelle par étapes (step scaling) avec une alarme CloudWatch pour ajuster le nombre minimum d'instances. Le problème décrit est un "cold start" où aucune instance n'est disponible au début de la journée. En définissant une alarme CloudWatch pour déclencher une politique de mise à l'échelle par étapes qui augmente le nombre minimum d'instances de zéro à un (ou plus) avant le début de la journée de travail, on s'assure qu'une instance est prête à traiter les requêtes. Réduire la période de temporisation ne résoudrait pas le problème du démarrage à froid, car il n'y a toujours pas d'instances au début. Changer la métrique cible pour l'utilisation du CPU pourrait être utile pour d'autres scénarios, mais ne garantit pas la disponibilité des instances au démarrage. Définir la valeur cible de la politique de mise à l'échelle sur un n'est pas une politique de mise à l'échelle valide et ne résoudrait pas le problème.