У RetailVision есть 240 моделей персонализации для каждого магазина (каждая размером около 120 МБ), к которым обращаются нечасто (минуты между запросами к каждой модели). В настоящее время каждая модель размещается как отдельная конечная точка, что дорого. Они хотят консолидировать ресурсы, чтобы минимизировать затраты, сохраняя при этом приемлемую задержку холодного запуска при первом запросе модели. Какой подход к хостингу SageMaker лучше всего подходит для снижения затрат в этом сценарии?

Единая многомодельная конечная точка SageMaker — это наиболее экономичное решение. Она позволяет размещать множество моделей на одном или нескольких экземплярах, загружая их в память по требованию из S3. Это значительно сокращает количество необходимых экземпляров по сравнению с отдельными конечными точками для каждой модели, что напрямую снижает затраты. При этом сохраняется приемлемая задержка, так как модели загружаются только при необходимости. Замена на EC2 с Flask неэффективна, так как требует ручного управления и не использует преимущества SageMaker. Использование 240 многоконтейнерных конечных точек с автомасштабированием будет дорогим из-за накладных расходов на каждую конечную точку. Асинхронный вывод не подходит для сценариев с низкой задержкой и не решает проблему высокой стоимости отдельных конечных точек.