Ein Unternehmen speichert CSV-Dateien in Amazon S3. Ein Dateningenieur muss die CSV-Dateien transformieren und die Ergebnisse in einen neuen S3-Bucket schreiben. Die erforderlichen Transformationen sind: Umbenennen einer Spalte, Löschen bestimmter Spalten, Überspringen der zweiten Zeile jeder Datei, Erstellen einer neuen Spalte, die von Werten in der ersten Zeile abgeleitet ist, und Filtern von Zeilen nach einer numerischen Spalte. Welche Option erfüllt diese Anforderungen mit dem geringsten Entwicklungsaufwand?

AWS Glue DataBrew ist ein visueller Datenaufbereitungsservice, der es Benutzern ermöglicht, Daten ohne Code zu bereinigen und zu normalisieren. Die beschriebenen Transformationen – Spalten umbenennen, löschen, Zeilen überspringen, neue Spalten ableiten und Zeilen filtern – sind Standardfunktionen in DataBrew-Rezepten. Dies minimiert den Entwicklungsaufwand erheblich, da keine benutzerdefinierten Skripte geschrieben werden müssen. AWS Glue Python-Jobs erfordern das Schreiben von PySpark-Code, was einen höheren Entwicklungsaufwand bedeutet. Ein AWS Glue Custom Crawler ist für das Schema-Discovery gedacht, nicht für Daten-Transformationen. Ein AWS Glue Workflow orchestriert Jobs, führt aber die Transformationen selbst nicht durch; es würde immer noch einen anderen Dienst wie Glue Python-Jobs oder DataBrew benötigen, um die eigentliche Arbeit zu erledigen.