FinInsights развернула конечную точку базовой модели JumpStart для генерации финансового текста с низкой задержкой на инстансе ml.g5.xlarge. После успешного пилотного проекта им требуется в 3 раза более высокая устойчивая пропускная способность с аналогичным поведением задержки в хвосте распределения. Какое наиболее прямое и поддерживаемое изменение конечной точки SageMaker JumpStart позволит удовлетворить это требование?

Правильный ответ — обновление конфигурации конечной точки SageMaker. Для увеличения пропускной способности в 3 раза при сохранении низкой задержки наиболее эффективно масштабировать ресурсы. Это можно сделать двумя способами: использовать более мощный тип инстанса GPU (например, ml.g5.12xlarge), который предоставляет больше вычислительных ресурсов на одном инстансе, или увеличить количество инстансов ml.g5.xlarge за конечной точкой, распределяя нагрузку между несколькими инстансами. Включение автомасштабирования дополнительно обеспечит адаптацию к изменяющейся нагрузке. Остальные варианты не подходят: Гиперпараметрическая настройка (HyperParameterTuningJob) оптимизирует производительность модели, но не масштабирует инфраструктуру для увеличения пропускной способности в 3 раза. Elastic Inference ускоряет инференс, но предназначен для небольшого увеличения производительности и не обеспечит трехкратного роста пропускной способности для базовой модели JumpStart. SageMaker Serverless Inference автоматически масштабируется, но может не гарантировать аналогичное поведение задержки в хвосте распределения для критичных к задержкам рабочих нагрузок и не всегда является самым прямым способом для значительного увеличения пропускной способности по сравнению с явным масштабированием инстансов.