Een bedrijf stuurt AWS WAF-logs naar Amazon S3 via Amazon Kinesis Data Firehose. Een Amazon Athena-query wordt eenmaal per dag uitgevoerd om de WAF-logs van de afgelopen 24 uur op te halen. Hoewel het dagelijkse logvolume stabiel is, duurt de query na verloop van tijd steeds langer. U moet voorkomen dat de uitvoeringstijd van de query blijft toenemen, terwijl de operationele overhead wordt geminimaliseerd. Welke oplossing voldoet aan deze vereisten?

De juiste oplossing is om de Kinesis Data Firehose-configuratie en de Athena-tabeldefinitie te wijzigen om de gegevens te partitioneren op datum en tijd, en vervolgens de Athena-query aan te passen om alleen de relevante partities te bevragen. Partitionering vermindert de hoeveelheid gescande gegevens aanzienlijk, wat de queryprestaties verbetert en de kosten verlaagt. De andere opties zijn minder effectief: Een Lambda-functie om logs te consolideren verhoogt de operationele overhead en lost het onderliggende probleem van het scannen van grote hoeveelheden gegevens niet op. Logs naar een andere S3-bucket sturen per dag helpt niet met de queryprestaties, omdat Athena nog steeds alle bestanden in die bucket moet scannen. Het gebruik van Amazon Redshift Spectrum voegt complexiteit en kosten toe die niet nodig zijn voor deze use case, aangezien Athena al geschikt is voor het bevragen van S3-gegevens.