Парк IoT-устройств записывает данные в виде файлов ORC в HDFS на постоянном кластере Amazon EMR. Аналитики выполняют SQL-запросы с помощью Apache Presto на том же кластере EMR. Запросы сканируют большие объемы данных, всегда выполняются менее чем за 15 минут и запускаются только с 17:00 до 22:00. Компания хочет получить более экономичное решение, которое по-прежнему позволяет выполнять SQL-запросы. Какое решение является наиболее экономичным и соответствует требованиям?

Правильный ответ — хранить данные в Amazon S3, использовать AWS Glue Data Catalog и выполнять запросы с помощью Amazon Athena. Это наиболее экономичное решение, поскольку Amazon S3 предлагает дешевое хранилище, а Amazon Athena — бессерверный сервис, оплачиваемый по объему сканированных данных, что идеально подходит для нерегулярных рабочих нагрузок (с 17:00 до 22:00). AWS Glue Data Catalog обеспечивает централизованное хранилище метаданных. Хранение данных в Amazon S3 и использование Amazon Redshift Spectrum для их запроса менее оптимально, так как Redshift Spectrum требует наличия кластера Amazon Redshift, что может быть дороже, чем Athena, для нерегулярного использования. Хранение данных в EMRFS на кластере EMR и продолжение использования Presto на Amazon EMR не является экономичным, поскольку постоянный кластер EMR оплачивается даже в нерабочее время. Загрузка данных в Amazon Redshift также не является экономичным решением, так как Redshift — это кластерное хранилище данных, которое оплачивается постоянно, что дорого для периодических запросов.