Ein Online-Händler speichert ALB-Zugriffsprotokolle in S3 und fragt diese mit Amazon Athena ab. Der Ingenieur hat eine unpartitionierte Athena-Tabelle erstellt, und die Abfrageantwortzeiten haben mit zunehmendem Datenvolumen zugenommen. Welcher Ansatz verbessert die Athena-Abfrageleistung mit dem geringsten Betriebsaufwand?

Die korrekte Antwort ist, einen AWS Glue Crawler zu verwenden. Ein Crawler kann automatisch das Schema der ALB-Zugriffsprotokolle erkennen und Partitionsmetadaten im AWS Glue Data Catalog erstellen. Dies ist die Methode mit dem geringsten Betriebsaufwand, da der Crawler die Schemaerkennung und Partitionsverwaltung automatisiert. Athena kann diese Partitionsinformationen nutzen, um nur die relevanten Daten zu scannen, was die Abfrageleistung erheblich verbessert und die Kosten senkt. Ein AWS Glue Job würde zwar auch das Schema ableiten und Partitionsmetadaten schreiben, erfordert aber mehr Konfiguration und Wartung als ein Crawler. Eine AWS Lambda-Funktion zur Konvertierung in Parquet und manueller Partitionsverwaltung wäre zwar leistungsfähig, aber mit deutlich höherem Betriebsaufwand verbunden. Die Verwendung von Apache Hive und Bucketed Tables ist komplex und würde einen erheblichen Umbau der Datenverarbeitung erfordern, was nicht dem geringsten Betriebsaufwand entspricht.