Компания переносит большую языковую модель (LLM) из локальной среды обучения в Amazon SageMaker для использования в интерактивной разговорной системе, которая отвечает на запросы по кредитным картам в режиме реального времени. Какой подход SageMaker следует использовать для обучения и развертывания LLM?

Правильный ответ — использование SageMaker Training Compiler для ускорения обучения LLM и развертывание обученной модели с помощью SageMaker real-time inference. SageMaker Training Compiler оптимизирует код обучения для более быстрого и эффективного использования GPU, что критически важно для больших LLM. Real-time inference необходим для интерактивной разговорной системы, требующей немедленных ответов. Использование deep learning containers для large model inference для обучения не является основным назначением этой функции; она больше подходит для оптимизации инференса. SageMaker Notebook Jobs не является специализированным инструментом для ускорения обучения LLM, а Asynchronous Inference не подходит для интерактивных систем, так как она предназначена для сценариев, где задержка не является критичной. SageMaker Studio — это IDE, а не метод обучения, а batch transform не подходит для интерактивных систем, так как он предназначен для обработки больших объемов данных офлайн.