Компания хранит 10 ТБ лог-файлов в формате Apache Parquet в бакете Amazon S3 и иногда ей требуется выполнять к ним SQL-запросы. Какое решение будет наиболее экономичным?

Правильный ответ — использование AWS Glue Crawler и Amazon Athena. Athena позволяет выполнять SQL-запросы непосредственно к данным в S3 без необходимости загрузки или трансформации, что делает ее экономичным решением для нечастых запросов к большим объемам данных. Glue Crawler автоматически определяет схему данных Parquet и сохраняет метаданные в AWS Glue Data Catalog, который Athena использует для выполнения запросов. Amazon Aurora MySQL не подходит, так как требует перемещения 10 ТБ данных и оплаты за хранение и вычислительные ресурсы Aurora, что дорого для лог-файлов. Amazon Redshift Spectrum является хорошим вариантом, но Redshift сам по себе является кластерным хранилищем данных, которое может быть избыточным и более дорогим для нечастых запросов по сравнению с бессерверной Athena. Amazon EMR с Apache Spark SQL также является мощным решением, но требует управления кластером и может быть дороже, чем Athena, для нерегулярных запросов.