MediLex exploite un point de terminaison SageMaker en temps réel (instances ml.m5.large) pour une API d'inférence NLP. Les métriques CloudWatch ont signalé une moyenne de 800 invocations par minute au cours du dernier intervalle de pointe de 5 minutes et la métrique InvocationsPerInstance est de 100 invocations/minute. Le point de terminaison exécute actuellement 8 instances. L'équipe SRE souhaite ajuster la taille pour répondre au même trafic de pointe tout en maintenant la même charge par instance (cible de 150 invocations par instance). En utilisant la métrique CloudWatch InvocationsPerInstance ou les données d'invocation agrégées, combien d'instances devraient-ils provisionner pour atteindre l'objectif de 150 invocations/instance ?

Actuellement, le point de terminaison gère 800 invocations/minute avec 8 instances, ce qui donne 100 invocations/instance (800 / 8 = 100). L'objectif est de maintenir une charge de 150 invocations/instance. Pour déterminer le nombre d'instances nécessaires pour gérer le même trafic de pointe (800 invocations/minute) avec la nouvelle cible, divisez le nombre total d'invocations par la cible d'invocations par instance : 800 invocations/minute / 150 invocations/instance = 5,33 instances. Puisqu'on ne peut pas avoir une fraction d'instance, il faut arrondir au nombre entier supérieur pour s'assurer que la cible de charge n'est pas dépassée, soit 6 instances. 4 instances : Ne suffirait pas (4 150 = 600 invocations, inférieur à 800). 8 instances : Mainiendrait la charge actuelle de 100 invocations/instance, pas la cible de 150. 10 instances : Réduirait la charge par instance (800 / 10 = 80), ce qui n'est pas l'objectif.