У вас есть набор данных объемом 2 ТБ в Amazon S3 и обученный контейнер модели, хранящийся в Amazon ECR. Вам необходимо запустить экономичную и масштабируемую задачу пакетной оценки для этого набора данных. Какое решение является наиболее экономичным и масштабируемым?

Правильный ответ — использование AWS Batch с управляемыми спотовыми инстансами Amazon EC2 и подключение Amazon FSx for Lustre. AWS Batch обеспечивает масштабируемое и экономичное выполнение пакетных задач, а спотовые инстансы значительно снижают затраты. FSx for Lustre — это высокопроизводительная файловая система, оптимизированная для рабочих нагрузок машинного обучения, обеспечивающая быстрый доступ к 2 ТБ данных в S3. Использование зарезервированных инстансов EC2 с AWS Batch менее экономично, чем спотовые инстансы. Подключение тома EC2 instance-store не подходит, так как данные хранятся в S3 и требуют высокопроизводительного доступа. Запуск оценки из ноутбука SageMaker (на зарезервированных или спотовых инстансах) не является масштабируемым решением для пакетной обработки 2 ТБ данных и не предназначен для таких объемов. Amazon EBS и EFS не обеспечивают такую же высокую пропускную способность и низкую задержку для крупномасштабных рабочих нагрузок машинного обучения, как FSx for Lustre.