Uma frota de dispositivos IoT grava dados como arquivos ORC no HDFS em um cluster Amazon EMR persistente. Analistas executam consultas SQL com Apache Presto no mesmo cluster EMR. As consultas escaneiam grandes volumes, sempre são concluídas em menos de 15 minutos e são executadas apenas entre 17h e 22h. A empresa deseja uma solução mais econômica que ainda permita consultas SQL. Qual solução é a mais econômica e atende aos requisitos?

A opção de armazenar os dados no Amazon S3, usar o AWS Glue Data Catalog e consultar com o Amazon Athena é a mais econômica e atende aos requisitos. O Amazon Athena é um serviço de consulta sem servidor que paga apenas pelas consultas executadas e pela quantidade de dados escaneados, o que é ideal para cargas de trabalho intermitentes (17h às 22h) e consultas que terminam rapidamente (menos de 15 minutos). O S3 oferece armazenamento de baixo custo e alta durabilidade. O AWS Glue Data Catalog gerencia os metadados dos arquivos ORC. Armazenar os dados no Amazon S3 e usar o Amazon Redshift Spectrum para consultá-los é uma alternativa, mas o Redshift Spectrum ainda requer um cluster Redshift provisionado, que tem um custo base. Manter os dados no EMRFS e continuar usando o Presto no Amazon EMR é menos econômico porque o cluster EMR persistente incorre em custos contínuos, mesmo quando não está sendo ativamente consultado. Carregar os dados no Amazon Redshift é a opção mais cara, pois o Redshift é um data warehouse provisionado, otimizado para cargas de trabalho analíticas complexas e contínuas, não para consultas intermitentes em dados brutos.