Ein Unternehmen wird Amazon Kinesis Data Firehose verwenden, um Daten an Amazon S3 zu liefern. Die eingehenden Dateien sind 2 MB große CSV-Dateien. Das Unternehmen muss die CSV-Dateien in JSON konvertieren und im Apache Parquet-Format in S3 speichern. Welcher Ansatz erfordert den geringsten Entwicklungsaufwand?

Die korrekte Antwort ist die effizienteste Lösung, da Kinesis Data Firehose die integrierte Funktion zur Konvertierung von Datenformaten in Apache Parquet bietet. Zuerst wird eine AWS Lambda-Funktion verwendet, um die eingehenden CSV-Dateien in JSON umzuwandeln. Diese Lambda-Funktion wird von Kinesis Data Firehose als Daten transformationsschritt aufgerufen. Anschließend konfiguriert man Kinesis Data Firehose so, dass es die transformierten JSON-Daten direkt in das Apache Parquet-Format konvertiert, bevor sie in S3 gespeichert werden. Dies minimiert den Entwicklungsaufwand, da man die Parquet-Konvertierung nicht selbst in Lambda implementieren muss. Die erste Option ist ineffizient, da die Parquet-Konvertierung in Lambda erfolgen müsste, was zusätzlichen Entwicklungsaufwand bedeutet. Die zweite Option ist falsch, da Kinesis Data Firehose keine direkte Konvertierung von CSV zu JSON und Parquet in einem Schritt bietet. Die dritte Option ist ebenfalls ineffizient, da die gesamte Konvertierungslogik (CSV zu JSON und dann zu Parquet) in Lambda implementiert werden müsste, was die Vorteile der integrierten Firehose-Funktionen nicht nutzt.