Компания запускает крупномасштабные задания пакетной обработки данных моделирования, хранящихся в бакете S3. Задания отказоустойчивы (могут быть прерваны), а выходные данные сохраняются в отдельном бакете S3. Каждое задание обрабатывает 15–20 ГБ входных данных. Какая архитектура наиболее экономически эффективно удовлетворит этим требованиям?

Правильный ответ — создание вычислительной среды AWS Batch с использованием EC2 Spot Instances и стратегией распределения SPOTCAPACITYOPTIMIZED. AWS Batch идеально подходит для крупномасштабных пакетных заданий, а Spot Instances значительно снижают затраты (до 90%) по сравнению с On-Demand, что критично для экономически эффективного решения. Стратегия SPOTCAPACITYOPTIMIZED выбирает пулы Spot Instances с наибольшей доступной емкостью, минимизируя прерывания, что важно для отказоустойчивых, но длительных задач. Задания размером 15-20 ГБ хорошо подходят для контейнеров, управляемых Batch. Использование AWS Lambda с provisioned concurrency не подходит из-за ограничений по времени выполнения (до 15 минут) и памяти, а также высокой стоимости для таких объемов данных. Комбинация On-Demand и Spot Instances в AWS Batch менее экономически эффективна, чем чистые Spot Instances, если задания отказоустойчивы. Amazon EKS добавляет сложность управления кластером и не является самым экономически эффективным решением по сравнению с AWS Batch для таких пакетных рабочих нагрузок.