Медиакомпании требуются рекомендации статей с низкой задержкой для читателей в одном городе. Пиковые нагрузки приходятся на предсказуемое время (утро, обед, после работы), в остальное время трафик небольшой. Ответы инференса составляют менее 4 МБ. Какой вариант развертывания минимизирует задержку и является наиболее экономически эффективным?

Бессерверный инференс с зарезервированной параллельностью (provisioned concurrency) является наиболее экономически эффективным и обеспечивает низкую задержку. Он позволяет масштабироваться до нуля в периоды низкой нагрузки, экономя затраты, и быстро реагировать на пики благодаря предварительно инициализированным экземплярам, избегая задержек холодного старта. Конечная точка инференса в реальном времени с автомасштабированием будет поддерживать экземпляры активными дольше, чем необходимо, увеличивая расходы. Асинхронный инференс и задания пакетного преобразования не подходят, так как они ориентированы на обработку больших объемов данных с допустимой задержкой, а не на низколатентные рекомендации в реальном времени.