ML-инженер настраивает автомасштабирование для компонента вывода за конечной точкой Amazon SageMaker с политикой отслеживания целевого показателя в 100 вызовов на модель в минуту. Конечная точка масштабируется нормально в рабочее время, но в начале каждого рабочего дня доступно ноль экземпляров для обработки запросов, что вызывает задержки. Как инженер должен обеспечить, чтобы конечная точка могла обрабатывать входящие запросы в начале каждого рабочего дня?

Правильный ответ — использование политики пошагового масштабирования, управляемой сигналом CloudWatch, и добавление второго сигнала CloudWatch и политики масштабирования для изменения минимального количества экземпляров с нуля на один в начале каждого рабочего дня. Это позволяет проактивно увеличить минимальное количество экземпляров до начала пиковой нагрузки, гарантируя наличие ресурсов для обработки запросов. Остальные варианты не решают проблему: Уменьшение периода ожидания и добавление хука жизненного цикла не гарантирует наличие экземпляров до начала нагрузки, так как автомасштабирование реагирует на метрики, а не предвосхищает их. Изменение целевой метрики на утилизацию ЦП не решает проблему холостого запуска, так как ЦП также будет низким при отсутствии запросов. Установка целевого значения политики масштабирования равным единице не является решением, так как это значение относится к метрике, а не к количеству экземпляров.