Модель на базе CPU будет обслуживать прогнозы в реальном времени с прерывистым трафиком в рабочее время и периодами простоя после него. Какой вариант хостинга SageMaker является наиболее экономически эффективным для такого шаблона?

SageMaker Serverless Inference является наиболее экономически эффективным для прерывистого трафика, поскольку он автоматически масштабируется до нуля при отсутствии запросов, что исключает затраты на простаивающие ресурсы. Предварительно выделенная параллельность гарантирует низкую задержку и готовность к обработке запросов в рабочее время, когда трафик ожидается. Развертывание на стандартной конечной точке SageMaker с автомасштабированием на основе расписания менее эффективно, так как даже при масштабировании до минимального количества экземпляров, вы все равно платите за эти экземпляры во время простоя. SageMaker Asynchronous Inference не подходит для вывода в реальном времени, так как он предназначен для обработки больших пакетов данных с задержкой. Использование функции AWS Lambda для активации конечной точки только в рабочее время добавляет ненужную сложность и не решает проблему оплаты за простаивающие ресурсы во время простоя, если конечная точка не масштабируется до нуля.