Компания непрерывно получает поток рыночных данных с постоянной скоростью и сохраняет их. Ежедневно ночью запускается задание агрегации, которое выполняется около 4 часов для вычисления статистики; анализ некритичен и может быть повторен при следующем запуске в случае сбоя. Текущая система использует пул зарезервированных инстансов (Reserved Instances) на 1 год, работающих постоянно для приема и хранения данных на подключенных томах EBS. Запланированный скрипт запускает инстансы EC2 по требованию (On-Demand) каждую ночь для выполнения агрегации, которые получают доступ к данным по NFS с серверов приема, и завершает их работу по окончании. Срок действия резервирований Reserved Instance истекает. Компания хочет получить наиболее экономически эффективный вариант. Какое решение должен рекомендовать архитектор?

Правильный ответ предлагает наиболее экономически эффективное решение, используя Amazon Kinesis Data Firehose для потоковой передачи данных непосредственно в Amazon S3. S3 — это экономичное хранилище для больших объемов данных. Для ночной агрегации AWS Batch со Spot Instances является идеальным выбором, поскольку Spot Instances значительно дешевле, а AWS Batch автоматически управляет их жизненным циклом, что подходит для некритичных, прерываемых рабочих нагрузок. Ограничение ставки Spot обеспечивает предсказуемость затрат. Первый неверный вариант использует On-Demand инстансы для агрегации, что дороже, чем Spot Instances, и не использует преимущества автоматического управления AWS Batch. Третий вариант продолжает использовать Reserved Instances для приема данных, что не является самым экономичным для потоковой передачи, и не полностью оптимизирует решение. Четвертый вариант с Amazon Redshift и Lambda может быть избыточным и более дорогим для простого агрегирования, особенно если данные уже находятся в S3, и Redshift не является самым экономичным хранилищем для сырых потоковых данных.