Ein Berichtssystem liefert täglich Hunderte von .csv-Dateien an einen Amazon S3-Bucket. Das Unternehmen muss diese Dateien in Apache Parquet konvertieren und die Ergebnisse in einem Bucket für transformierte Daten speichern. Welche Lösung erfüllt die Anforderung mit dem GERINGSTEN Entwicklungsaufwand?

AWS Glue ist ein vollständig verwalteter ETL-Dienst, der speziell für die Datenintegration und -transformation entwickelt wurde. Ein Glue Crawler kann automatisch das Schema der CSV-Dateien erkennen und einen Glue ETL-Job generieren, der die Daten in Parquet konvertiert und in den Ziel-S3-Bucket schreibt. Dies erfordert den geringsten Entwicklungsaufwand, da Glue viele Schritte automatisiert. Die anderen Optionen erfordern mehr Entwicklungsaufwand: Amazon EMR mit Apache Spark erfordert das Schreiben und Verwalten einer Spark-Anwendung sowie die Verwaltung des EMR-Clusters. AWS Batch erfordert das Schreiben und Verwalten eines Bash-Skripts und die Konfiguration der Batch-Umgebung. AWS Lambda erfordert das Schreiben und Verwalten einer Lambda-Funktion, die die Transformation durchführt, was bei großen Dateien oder vielen Dateien komplex werden kann.