MediLex gestisce un endpoint SageMaker in tempo reale (istanze ml.m5.large) per un'API di inferenza NLP. Le metriche di CloudWatch hanno riportato una media di 800 invocazioni al minuto nell'ultimo intervallo di picco di 5 minuti e la metrica InvocationsPerInstance è di 100 invocazioni/minuto. L'endpoint attualmente esegue 8 istanze. Il team SRE vuole dimensionare correttamente per soddisfare lo stesso traffico di picco mantenendo lo stesso carico per istanza (target 150 invocazioni per istanza). Utilizzando i dati di CloudWatch InvocationsPerInstance o i dati di invocazione aggregati, quante istanze dovrebbero essere allocate per raggiungere l'obiettivo di 150 invocazioni/istanza?

Il traffico di picco è di 800 invocazioni al minuto. L'obiettivo è mantenere 150 invocazioni per istanza. Per calcolare il numero di istanze necessarie, dividi il traffico di picco totale per il numero di invocazioni desiderato per istanza: 800 invocazioni/minuto / 150 invocazioni/istanza = 5,33 istanze. Poiché non è possibile avere una frazione di istanza, è necessario arrotondare per eccesso al numero intero successivo per garantire che il carico per istanza non superi il limite. Pertanto, sono necessarie 6 istanze. 4 istanze: Non sufficienti, 800/4 = 200 invocazioni/istanza, superando il target di 150. 8 istanze: Troppe, 800/8 = 100 invocazioni/istanza, inferiore al target e meno efficiente. 10 istanze: Eccessive e inefficienti.