Ein Data Scientist muss einen On-Premises-ETL-Prozess zu AWS migrieren. Der aktuelle Prozess läuft nach einem Zeitplan und verwendet PySpark, um mehrere große Datenquellen zusammenzuführen und zu formatieren, um eine konsolidierte Ausgabe für nachgelagerte Jobs zu erstellen. Anforderungen an die Cloud-Lösung: mehrere Quellen kombinieren, vorhandenen PySpark-Code wiederverwenden, nach dem bestehenden Zeitplan ausführen und die Anzahl der zu verwaltenden Server minimieren. Welche Architektur erfüllt diese Anforderungen?

Die korrekte Antwort ist die Verwendung von AWS Glue ETL-Jobs. AWS Glue ist ein vollständig verwalteter ETL-Service, der PySpark-Code nativ ausführen kann, was die Wiederverwendung des bestehenden PySpark-Codes ermöglicht. Er unterstützt geplante Ausführungen über AWS Glue-Trigger und minimiert den Verwaltungsaufwand für Server, da es sich um einen serverlosen Dienst handelt. Rohdaten in Amazon S3 zu speichern ist eine Best Practice für Data Lakes. Die Option mit einem persistenten Amazon EMR-Cluster ist weniger ideal, da EMR Serververwaltung erfordert, was den Wunsch nach Minimierung der Serververwaltung widerspricht. Die Neuimplementierung der PySpark-Logik in einer Lambda-Funktion ist ineffizient und fehleranfällig, insbesondere bei großen Datenmengen, da Lambda-Funktionen Laufzeit- und Speicherbeschränkungen haben. Kinesis Data Analytics ist für Streaming-Daten konzipiert und verwendet SQL, was die Wiederverwendung von PySpark-Code nicht unterstützt und für Batch-ETL-Prozesse ungeeignet ist.