У компании есть обученная модель ML в Amazon SageMaker, которую необходимо разместить в production с высокой доступностью, минимальной задержкой и возможностью обрабатывать непредсказуемые всплески запросов. Каждый запрос будет размером от 1 КБ до 3 МБ. Мощность инференса должна масштабироваться пропорционально спросу. Как компания должна развернуть модель?

Правильный ответ — создание конечной точки SageMaker для инференса в реальном времени с автомасштабированием. SageMaker Endpoints специально разработаны для высокодоступного инференса с низкой задержкой, автоматически обрабатывая непредсказуемые всплески запросов и масштабируя инференс пропорционально спросу. Они поддерживают различные размеры полезной нагрузки, включая до 3 МБ, что соответствует требованиям. Использование кластера Amazon ECS с запланированным масштабированием менее гибко и не так хорошо реагирует на непредсказуемые всплески. Установка SageMaker Operator в EKS и развертывание модели в EKS с горизонтальным автомасштабированием подов на основе использования памяти является излишне сложным для этой задачи и не использует встроенные возможности SageMaker. Выполнение инференса на Spot Instances в Spot Fleet за Application Load Balancer не гарантирует высокую доступность и низкую задержку, так как Spot Instances могут быть прерваны.