Ein Unternehmen speichert Millionen von 1 KB großen JSON-Testergebnisdateien in S3, die von globalen Testeinrichtungen stammen. Ein Dateningenieur muss diese Dateien in Apache Parquet konvertieren und in Amazon Redshift laden. Die aktuelle Pipeline verwendet AWS Glue für die Verarbeitung, Step Functions für die Orchestrierung und EventBridge für die Zeitplanung. Da weitere Einrichtungen hinzugefügt werden, hat sich die Verarbeitungszeit erhöht. Welche Änderung würde die Verarbeitungszeit am stärksten reduzieren?

Die AWS Glue Dynamic Frame-Option zur Dateigruppierung (file grouping) ist die effektivste Lösung. Sie ermöglicht es AWS Glue, viele kleine Dateien als eine größere logische Einheit zu verarbeiten, was den Overhead bei der Verarbeitung kleiner Dateien reduziert und die Effizienz erheblich steigert. Das Zusammenfassen von Dateien mit Lambda vor der Verarbeitung ist ein zusätzlicher Schritt, der Komplexität hinzufügt. Der Redshift COPY-Befehl ist für das Laden optimiert, aber die Verarbeitung kleiner Dateien in Redshift ist ineffizient. Die Umstellung auf Amazon EMR ist ein größerer Architekturwechsel und nicht die direkteste Optimierung für dieses spezifische Problem.