MediLex opera un endpoint de SageMaker en tiempo real (instancias ml.m5.large) para una API de inferencia de PNL. Las métricas de CloudWatch informaron un promedio de 800 invocaciones por minuto durante el último intervalo pico de 5 minutos y la métrica InvocationsPerInstance es de 100 invocaciones/minuto. El endpoint actualmente ejecuta 8 instancias. El equipo de SRE quiere ajustar el tamaño para satisfacer el mismo tráfico pico manteniendo la misma carga por instancia (objetivo de 150 invocaciones por instancia). Usando los datos de CloudWatch InvocationsPerInstance o los datos de invocación agregados, ¿cuántas instancias deberían aprovisionar para alcanzar el objetivo de 150 invocaciones/instancia?

La métrica InvocationsPerInstance actual es de 100 invocaciones/minuto por instancia, y el endpoint tiene 8 instancias. Esto significa que el tráfico total es de 100 invocaciones/minuto/instancia 8 instancias = 800 invocaciones/minuto. Para mantener el mismo tráfico pico de 800 invocaciones/minuto con un objetivo de 150 invocaciones/minuto por instancia, necesitamos calcular el número de instancias requeridas. Número de instancias = Tráfico total / Objetivo de invocaciones por instancia Número de instancias = 800 invocaciones/minuto / 150 invocaciones/minuto/instancia Número de instancias = 5.33 Dado que no se pueden tener instancias parciales, se debe redondear al número entero superior para asegurar que se pueda manejar el tráfico, lo que resulta en 6 instancias. Las opciones incorrectas son: 4 instancias: Esto resultaría en una carga de 200 invocaciones/minuto por instancia (800/4), superando el objetivo de 150. 8 instancias: Esto mantendría la carga actual de 100 invocaciones/minuto por instancia, no alcanzando el objetivo de 150. 10 instancias: Esto resultaría en una carga de 80 invocaciones/minuto por instancia (800/10), lo cual es menos eficiente y no cumple el objetivo de 150.