Компания разрабатывает новое решение для машинного обучения на AWS. Модели реализованы как независимые микросервисы, которые при запуске загружают около 1 ГБ данных модели из Amazon S3 и помещают их в память. Пользователи обращаются к моделям через асинхронный API: они отправляют запрос или пакет запросов и указывают, куда должны быть отправлены результаты. Сотни пользователей будут использовать модели с нерегулярными паттернами использования — некоторые модели могут простаивать днями или неделями, в то время как другие получают тысячи запросов. Какое решение должен порекомендовать архитектор для удовлетворения этих требований?

Правильный ответ — это отправка запросов в Amazon SQS, развертывание моделей как сервисов Amazon ECS, которые читают из очереди, и включение AWS Auto Scaling для ECS на основе размера очереди. Это решение оптимально, поскольку SQS обеспечивает асинхронную обработку и сглаживает пиковые нагрузки, что идеально подходит для нерегулярных паттернов использования. ECS позволяет запускать контейнеризированные микросервисы, которые могут загружать 1 ГБ данных в память, а Auto Scaling эффективно управляет ресурсами, масштабируя кластер и количество копий сервиса только при необходимости, минимизируя затраты на простаивающие модели. Остальные варианты менее подходят: Lambda не подходит для загрузки 1 ГБ данных в память при каждом вызове из-за ограничений по памяти и времени выполнения, а также холодных стартов. NLB не поддерживает прямые вызовы Lambda. Использование ALB с ECS без SQS не обеспечивает асинхронности и сглаживания нагрузки. AWS App Mesh не масштабирует экземпляры ECS на основе размера очереди SQS.