Une entreprise envoie des journaux AWS WAF vers Amazon S3 via Amazon Kinesis Data Firehose. Une requête Amazon Athena s'exécute une fois par jour pour récupérer les journaux WAF des dernières 24 heures. Bien que le volume quotidien des journaux soit stable, la requête prend progressivement plus de temps. Vous devez empêcher le temps d'exécution de la requête de continuer à augmenter tout en minimisant la charge opérationnelle. Quelle solution répond à ces exigences ?

La solution correcte est de modifier la configuration Kinesis Data Firehose et la définition de la table Athena pour partitionner les données par date et heure, puis de modifier la requête Athena pour interroger les partitions pertinentes. Le partitionnement des données dans S3 par date et heure permet à Athena de ne scanner qu'un sous-ensemble des données (les partitions des dernières 24 heures), réduisant ainsi la quantité de données analysées et améliorant considérablement les performances des requêtes. Les autres options sont moins efficaces ou plus complexes : Consolider les journaux avec une fonction Lambda n'optimise pas la requête Athena et ajoute une charge opérationnelle. Envoyer les journaux vers un compartiment S3 différent chaque jour n'est pas une pratique courante et ne fournit pas le même niveau de granularité que le partitionnement. Utiliser Amazon Redshift Spectrum ajoute une complexité et un coût inutiles, car Athena est déjà adapté à ce cas d'utilisation et le problème est lié à la structure des données plutôt qu'à la capacité du moteur de requête.