Онлайн-компания по доставке имеет одну модель XGBoost для каждого города, хранящуюся в S3, и в настоящее время размещает каждую модель на собственном экземпляре EC2 (использование 5%). Они хотят, чтобы веб-приложение выбирало самого быстрого курьера в реальном времени как для существующих, так и для новых пользователей, минимизируя при этом операционные издержки. Какое решение позволит достичь этого с наименьшими усилиями по управлению?

Многомодельная конечная точка SageMaker с использованием многомодельного сервера является наиболее эффективным решением. Она позволяет размещать несколько моделей на одном экземпляре, загружая их из S3 по запросу, что значительно снижает операционные издержки и упрощает управление по сравнению с отдельными экземплярами EC2 или конечными точками SageMaker. Параметр TargetModel позволяет легко переключаться между моделями для разных городов. Пакетное преобразование (вариант 1) не подходит для прогнозирования в реальном времени. Консолидация на одном экземпляре EC2 с собственным сервером моделей (вариант 3) требует больше усилий по управлению и масштабированию, чем управляемый сервис SageMaker. Создание отдельных конечных точек SageMaker для каждого города (вариант 4) приведет к высоким затратам, так как каждый город будет иметь свою конечную точку, даже если она используется редко.