Uma empresa tem 10 TB de arquivos de log no formato Apache Parquet armazenados em um bucket Amazon S3 e ocasionalmente precisa executar consultas SQL neles. Qual é a solução mais econômica?

A opção correta é usar o AWS Glue Crawler e o Amazon Athena. O AWS Glue Crawler pode inferir o esquema dos arquivos Parquet no S3 e armazenar os metadados no AWS Glue Data Catalog. O Amazon Athena pode então usar esses metadados para executar consultas SQL diretamente nos dados do S3, sem a necessidade de carregar ou transformar os dados. Esta é a solução mais econômica para consultas ocasionais, pois você paga apenas pelas consultas executadas e pela quantidade de dados verificados. As outras opções são menos econômicas para consultas ocasionais: Amazon Aurora MySQL exigiria a migração de 10 TB de dados, o que é caro e desnecessário para consultas ocasionais. Amazon Redshift Spectrum é uma boa opção, mas o Redshift em si é um data warehouse provisionado, o que pode ser mais caro para uso ocasional do que o Athena. Amazon EMR é uma solução poderosa, mas provisionar e gerenciar um cluster EMR para consultas ocasionais é excessivo e mais caro.