Para acelerar as consultas do Amazon Athena, um engenheiro de dados descobre que todos os arquivos de entrada são .csv não compactados e que a maioria das consultas seleciona uma única coluna. Qual mudança MELHORARÁ MAIS o desempenho das consultas do Athena?

Converter os dados para Apache Parquet e aplicar compactação Snappy é a melhor opção porque o Parquet é um formato de armazenamento de dados colunar otimizado para análise. Isso significa que o Athena pode ler apenas as colunas necessárias para uma consulta, reduzindo significativamente a quantidade de dados escaneados e, consequentemente, o tempo e o custo da consulta, especialmente quando a maioria das consultas seleciona uma única coluna. A compactação Snappy, por sua vez, oferece um bom equilíbrio entre taxa de compactação e velocidade de descompactação, otimizando ainda mais o desempenho. Converter para JSON e compactar com Snappy não é ideal porque JSON é um formato baseado em linhas, não oferecendo as mesmas otimizações de leitura colunar do Parquet. Aplicar compactação Snappy ou gzip aos arquivos .csv existentes melhoraria a performance, mas não aproveitaria os benefícios da leitura colunar, que é o principal gargalo quando se seleciona apenas uma coluna.