Команда обучила CNN на Amazon SageMaker с использованием GPU и собирается развернуть ее на конечной точке SageMaker для идентификации изображений минералов в реальном времени. Они уже знают ожидаемую структуру трафика и должны выбрать наилучший тип экземпляра и конфигурацию. Какой подход требует наименьших усилий по разработке для выбора правильной конфигурации экземпляра?

SageMaker Inference Recommender Advanced — лучший выбор, поскольку он позволяет предоставить известную структуру трафика для нагрузочного тестирования, что является ключевым требованием для выбора правильной конфигурации экземпляра с наименьшими усилиями. Он автоматизирует процесс выбора оптимального типа экземпляра и конфигурации для развертывания модели, учитывая заданные параметры трафика. Default-версия Inference Recommender не позволяет указать известную структуру трафика. Развертывание модели вручную с использованием AWS Lambda и API Gateway, а также нагрузочное тестирование с помощью инструментов с открытым исходным кодом, требует значительно больших усилий по разработке и настройке, чем использование Inference Recommender. Использование экземпляров CPU вместо GPU для модели CNN, обученной на GPU, также неоптимально и не соответствует требованиям к производительности.