Ein Unternehmen sendet AWS WAF-Protokolle über Amazon Kinesis Data Firehose an Amazon S3. Eine Amazon Athena-Abfrage wird einmal täglich ausgeführt, um die WAF-Protokolle der letzten 24 Stunden abzurufen. Obwohl das tägliche Protokollvolumen stabil ist, dauert die Abfrage im Laufe der Zeit immer länger. Sie müssen verhindern, dass die Abfragelaufzeit weiter ansteigt, und gleichzeitig den Betriebsaufwand minimieren. Welche Lösung erfüllt diese Anforderungen?

Die korrekte Antwort ist, die Kinesis Data Firehose-Konfiguration und die Athena-Tabellendefinition zu ändern, um die Daten nach Datum und Uhrzeit zu partitionieren, und die Athena-Abfrage anzupassen, um relevante Partitionen abzufragen. Dies reduziert die Menge der von Athena gescannten Daten erheblich, da nur die Partitionen für die letzten 24 Stunden gelesen werden, was die Abfrageleistung verbessert und die Kosten senkt. Das Erstellen einer Lambda-Funktion zur Konsolidierung von Protokollen erhöht den Betriebsaufwand und löst das Problem der Abfrageleistung nicht direkt. Das Senden von Protokollen an verschiedene S3-Buckets pro Tag ist keine native Partitionierungslösung und erfordert komplexere Abfragen. Die Verwendung von Amazon Redshift und Redshift Spectrum ist eine überdimensionierte und teure Lösung für diesen Anwendungsfall und erhöht den Betriebsaufwand erheblich.