Конвейер ML в производственной среде на Amazon SageMaker обрабатывает входные данные размером до 1 ГБ, а выполнение заданий может занимать до часа, но приложению требуются ответы в режиме, близком к реальному времени. Какой вариант вывода SageMaker наиболее подходит?

Asynchronous inference (асинхронный вывод) является наиболее подходящим вариантом, поскольку он разработан для обработки больших полезных нагрузок (до 1 ГБ) и длительного времени обработки (до часа), при этом предоставляя ответы в режиме, близком к реальному времени, когда это необходимо. Он ставит запросы в очередь и обрабатывает их по мере доступности ресурсов, уведомляя клиента после завершения. Real-time inference (вывод в реальном времени) не подходит, так как он оптимизирован для небольших полезных нагрузок (до 5 МБ) и низкой задержки (миллисекунды), что не соответствует требованиям к размеру данных и времени выполнения. Serverless inference (бессерверный вывод) также имеет ограничения по размеру полезной нагрузки и времени выполнения, аналогичные выводу в реальном времени. Batch transform (пакетное преобразование) предназначен для обработки очень больших объемов данных (терабайты) в офлайн-режиме и не обеспечивает ответы в режиме, близком к реальному времени.