Ein Unternehmen zentralisiert VPC Flow Logs von vielen Konten in einem einzigen S3-Bucket. Die Logs werden als Textdateien gespeichert, die mit gzip komprimiert sind und unbegrenzt aufbewahrt werden müssen. Analysten führen Ad-hoc-Athena-Abfragen für diese Logs aus, aber die Abfrageleistung verschlechtert sich, da das Log-Volumen wächst. Sie müssen sowohl die Abfrageleistung verbessern als auch die Speichernutzung reduzieren. Welche Änderung führt zur GRÖSSTEN Leistungsverbesserung?

Die Neukonfiguration der VPC Flow Log-Bereitstellung zur Verwendung des Apache Parquet-Formats und stündlicher Partitionen bietet die größte Leistungsverbesserung. Parquet ist ein spaltenbasiertes Format, das für analytische Abfragen optimiert ist, da es nur die benötigten Spalten liest, was die Datenmenge reduziert, die Athena verarbeiten muss. Stündliche Partitionen verbessern die Abfrageleistung erheblich, indem sie die Menge der gescannten Daten begrenzen, da Athena nur die relevanten Partitionen abfragt. Dies reduziert auch die Speichernutzung durch effizientere Komprimierung. Das Dekomprimieren und Neukomprimieren mit bzip2 würde die Komprimierung verbessern, aber nicht die Abfrageleistung so stark wie ein spaltenbasiertes Format. S3 Transfer Acceleration ist für die Upload-Geschwindigkeit, nicht für die Abfrageleistung, und S3 Intelligent-Tiering optimiert die Speicherkosten, nicht die Abfrageleistung. Eine neue Athena-Workgroup ohne Datenverbrauchskontrolllimits und die Verwendung von Athena Engine Version 2 können die Leistung leicht verbessern, sind aber nicht so wirkungsvoll wie die Optimierung des Datenformats und der Partitionierung.