Компания развернет модель для инференса в продакшене на конечной точке SageMaker. Типичные полезные нагрузки запросов составляют от 100 МБ до 300 МБ, и каждый запрос должен быть выполнен в течение 60 минут. Какой вариант инференса SageMaker следует использовать?

Асинхронный инференс SageMaker идеально подходит для запросов с большим объемом полезной нагрузки (100–300 МБ) и длительным временем выполнения (до 60 минут). Он позволяет отправлять запросы и получать результаты позже, не блокируя клиент. Serverless inference (бессерверный инференс) имеет ограничения по размеру полезной нагрузки (обычно до 10 МБ) и времени выполнения, что делает его непригодным для данного сценария. Real-time inference (инференс в реальном времени) предназначен для запросов с низкой задержкой и меньшими полезными нагрузками, не подходящими для выполнения в течение 60 минут. Batch transform (пакетное преобразование) используется для обработки больших наборов данных в автономном режиме, а не для отдельных запросов к конечной точке.