MedScan Health требуется конечная точка SageMaker, которая последовательно запускает контейнер предварительной обработки изображений, затем контейнер модели TensorFlow, затем контейнер постобработки для каждого запроса. Им нужен единый URL-адрес конечной точки HTTP для клиентов. Какой подход к развертыванию SageMaker наилучшим образом удовлетворяет этому требованию с минимальными дополнительными сетевыми затратами и правильным поведением жизненного цикла модели?

Конвейер вывода SageMaker позволяет последовательно объединять несколько контейнеров в одну конечную точку, что идеально соответствует требованиям MedScan Health. Это обеспечивает единый URL-адрес и минимизирует сетевые издержки, поскольку все контейнеры выполняются в рамках одной конечной точки. Развертывание трех отдельных конечных точек с балансировщиком нагрузки увеличит задержку и сложность. Конечная точка с несколькими моделями предназначена для размещения нескольких независимых моделей на одном экземпляре, а не для последовательного выполнения. Использование заданий SageMaker Processing для предварительной/постобработки не подходит для сценариев реального времени, поскольку задания запускаются асинхронно и имеют значительную задержку запуска.