Un'azienda invia i log di AWS WAF ad Amazon S3 tramite Amazon Kinesis Data Firehose. Una query di Amazon Athena viene eseguita una volta al giorno per recuperare i log WAF delle precedenti 24 ore. Sebbene il volume giornaliero dei log sia stabile, la query richiede progressivamente più tempo. È necessario impedire che il tempo di esecuzione della query continui ad aumentare, riducendo al minimo l'overhead operativo. Quale soluzione soddisfa questi requisiti?

L'opzione corretta risolve il problema delle prestazioni di Athena partizionando i dati. Quando Kinesis Data Firehose partiziona i dati per data e ora su S3, Athena può scansionare solo le partizioni pertinenti (ad esempio, quelle dell'ultimo giorno), riducendo drasticamente la quantità di dati scansionati e migliorando il tempo di esecuzione della query. Questo approccio è efficiente e a basso overhead operativo. Creare una funzione Lambda per consolidare i log non risolve il problema della scansione di grandi file e aggiunge complessità operativa. Ridurre la quantità di dati scansionati inviando i log a un bucket S3 diverso ogni giorno non è una pratica comune e non offre i vantaggi di una partizione strutturata. L'uso di Amazon Redshift e Redshift Spectrum è una soluzione più complessa e costosa, non necessaria per questo caso d'uso che può essere risolto efficacemente con Athena e la partizione dei dati.