Конечная точка SageMaker, на которой запущена встроенная модель Image Classification на инстансе ml.m5.xlarge, испытывает неприемлемую задержку вывода, при этом ModelLatency является доминирующим фактором. Задержка ухудшается, когда несколько пользователей одновременно обращаются к конечной точке. Какое действие уменьшит задержку вывода для этих исследователей?

Правильный ответ — подключение акселератора Amazon Elastic Inference (EIA). EIA специально разработаны для ускорения вывода глубоких нейронных сетей, что напрямую снижает ModelLatency, которая является доминирующим фактором задержки в данном сценарии. Это экономически эффективный способ увеличить пропускную способность и уменьшить задержку без использования более дорогих инстансов с полными GPU. Переключение на инстанс ml.t3 не поможет, так как эти инстансы предназначены для рабочих нагрузок с переменной производительностью и не оптимизированы для интенсивных вычислений вывода. Включение SageMaker Autopilot не решит проблему задержки вывода, поскольку Autopilot фокусируется на автоматическом поиске лучшей модели и гиперпараметров, а не на оптимизации производительности уже развернутой модели. Изменение типа инстанса на оптимизированный по памяти не улучшит задержку вывода для модели Image Classification, так как такие модели обычно требуют значительных вычислительных ресурсов, а не только памяти.