Ein Unternehmen hat das Volumen der in einem Amazon S3-Bucket gespeicherten CSV-Dateien stark erhöht. Datentransformationsskripte und Abfragen sind dadurch viel langsamer geworden. Ein ML-Ingenieur muss eine Lösung implementieren, die die Daten für die Abfrageleistung mit dem GERINGSTEN Betriebsaufwand optimiert. Welche Option erfüllt diese Anforderung?

Die Konvertierung der CSV-Dateien in das Apache Parquet-Format mittels AWS Glue ETL ist die beste Lösung. Parquet ist ein spaltenorientiertes Speicherformat, das für analytische Abfragen optimiert ist. Es bietet eine effiziente Komprimierung und ermöglicht es Abfragemaschinen, nur die benötigten Spalten zu lesen, was die Abfrageleistung erheblich verbessert und die Datenübertragung reduziert. AWS Glue ist ein vollständig verwalteter ETL-Service, der den Betriebsaufwand minimiert. Das Aufteilen von CSV-Dateien in kleinere Objekte (Option A) verbessert die Abfrageleistung nicht grundlegend, da das Format ineffizient bleibt. Das Löschen von Spalten (Option B) ist eine Datenreduktion, die die Abfrageleistung verbessern kann, aber nicht die Effizienz des Speicherformats selbst optimiert. Ein Amazon EMR-Cluster (Option D) ist leistungsstark, erfordert jedoch einen höheren Betriebsaufwand für die Verwaltung des Clusters im Vergleich zu einem serverlosen AWS Glue-Job.