MediLex betreibt einen SageMaker Echtzeit-Endpunkt (ml.m5.large Instanzen) für eine NLP-Inferenz-API. CloudWatch-Metriken meldeten durchschnittlich 800 Aufrufe pro Minute über das letzte Spitzenintervall von 5 Minuten, und die Metrik InvocationsPerInstance beträgt 100 Aufrufe/Minute. Der Endpunkt läuft derzeit auf 8 Instanzen. Das SRE-Team möchte die Größe anpassen, um den gleichen Spitzenverkehr zu bewältigen, während die gleiche Last pro Instanz beibehalten wird (Ziel 150 Aufrufe pro Instanz). Wie viele Instanzen sollten sie bereitstellen, um das Ziel von 150 Aufrufen/Instanz zu erreichen, basierend auf den CloudWatch InvocationsPerInstance oder aggregierten Aufrufdaten?

Der aktuelle Spitzenverkehr beträgt 800 Aufrufe pro Minute. Das Ziel ist es, 150 Aufrufe pro Instanz zu erreichen. Um die erforderliche Anzahl von Instanzen zu berechnen, teilt man den gesamten Spitzenverkehr durch die gewünschte Last pro Instanz: 800 Aufrufe/Minute / 150 Aufrufe/Instanz = 5,33 Instanzen. Da man keine Bruchteile von Instanzen bereitstellen kann, muss auf die nächste ganze Zahl aufgerundet werden, um sicherzustellen, dass die Ziellast pro Instanz nicht überschritten wird. Daher sind 6 Instanzen erforderlich. 4 Instanzen wären zu wenig und würden die Ziellast pro Instanz überschreiten. 8 Instanzen würden die Ziellast pro Instanz unterschreiten und wären ineffizient. 10 Instanzen wären ebenfalls ineffizient und überdimensioniert.