MediLex использует конечную точку SageMaker в реальном времени (экземпляры ml.m5.large) для API вывода NLP. Метрики CloudWatch показали в среднем 800 вызовов в минуту за последний пиковый 5-минутный интервал, а метрика InvocationsPerInstance составляет 100 вызовов/минуту. В настоящее время конечная точка работает на 8 экземплярах. Команда SRE хочет оптимизировать размер, чтобы соответствовать тому же пиковому трафику, сохраняя ту же нагрузку на экземпляр (цель 150 вызовов на экземпляр). Используя метрику CloudWatch InvocationsPerInstance или агрегированные данные о вызовах, сколько экземпляров они должны выделить для достижения цели в 150 вызовов/экземпляр?

Текущее количество вызовов в минуту составляет 800. Целевая нагрузка на экземпляр — 150 вызовов в минуту. Чтобы определить необходимое количество экземпляров, разделите общее количество вызовов в минуту на целевую нагрузку на экземпляр: 800 вызовов/мин / 150 вызовов/экземпляр = 5,33 экземпляра. Поскольку количество экземпляров должно быть целым числом, округлите в большую сторону до 6 экземпляров, чтобы обеспечить обработку пикового трафика при сохранении целевой нагрузки. Вариант 4 экземпляра недостаточен, так как 4 150 = 600 вызовов/мин, что меньше 800. Вариант 8 экземпляров является избыточным и не оптимизирует затраты, так как 8 150 = 1200 вызовов/мин. Вариант 10 экземпляров также является избыточным.