Uma empresa envia logs do AWS WAF para o Amazon S3 por meio do Amazon Kinesis Data Firehose. Uma consulta do Amazon Athena é executada uma vez por dia para recuperar as últimas 24 horas de logs do WAF. Embora o volume diário de logs seja estável, a consulta está demorando progressivamente mais com o tempo. Você precisa evitar que o tempo de execução da consulta continue aumentando, minimizando a sobrecarga operacional. Qual solução atende a esses requisitos?

A partição dos dados por data e hora no S3, configurada via Kinesis Data Firehose, e a subsequente definição de tabela particionada no Athena, permitem que o Athena escaneie apenas os dados relevantes para a consulta (as últimas 24 horas). Isso reduz significativamente a quantidade de dados processados, melhorando o tempo de execução da consulta. A consolidação de logs em um único arquivo por dia (opção 1) não resolveria o problema, pois o Athena ainda teria que escanear o arquivo inteiro. Enviar logs para um bucket S3 diferente a cada dia (opção 2) aumentaria a complexidade operacional e não otimizaria a consulta da mesma forma que a partição. Usar Amazon Redshift e Redshift Spectrum (opção 3) é uma solução mais complexa e cara, que não minimiza a sobrecarga operacional como solicitado, e não é necessária para este caso de uso de consulta de logs.