Eine Anwendung legt stündlich Hunderte von 1 GB großen .csv-Dateien in einem Amazon S3-Bucket ab. Jede hochgeladene Datei muss in das Apache Parquet-Format konvertiert und in einen S3-Bucket geschrieben werden. Welche Lösung bietet die erforderliche Funktionalität mit dem geringsten Betriebsaufwand?

Die korrekte Lösung verwendet AWS Glue ETL-Jobs, da diese speziell für die Transformation großer Datenmengen konzipiert sind, wie es hier bei stündlich Hunderten von 1-GB-Dateien der Fall ist. AWS Glue ist ein vollständig verwalteter Dienst, der den Betriebsaufwand minimiert. Eine Lambda-Funktion, die durch S3 PUT-Ereignisse ausgelöst wird, kann den Glue ETL-Job für jede neue Datei starten. Die Option, nur eine Lambda-Funktion zu verwenden, ist ungeeignet, da Lambda-Funktionen für kurzlebige, ereignisgesteuerte Aufgaben optimiert sind und das Herunterladen, Konvertieren und Hochladen von Hunderten von 1-GB-Dateien pro Stunde die Lambda-Ressourcen (Speicher, Laufzeit) schnell übersteigen und zu hohen Kosten führen würde. Die Option mit einem Apache Spark-Job, der von Lambda ausgelöst wird, ist zwar technisch machbar, aber Spark erfordert in der Regel die Verwaltung eines Clusters (z.B. mit EMR), was einen höheren Betriebsaufwand bedeutet als der vollständig verwaltete AWS Glue-Dienst. Die Option mit AWS Glue-Tabelle, Crawler und Athena ist für die Abfrage vorhandener Daten optimiert, nicht für die automatische Konvertierung jeder eingehenden Datei in ein anderes Format. Das regelmäßige Abfragen und Konvertieren über Athena wäre ineffizient und nicht ereignisgesteuert.