Ein Unternehmen führt täglich zur gleichen Zeit einen AWS Glue ETL-Job aus, um XML-Daten zu verarbeiten, die in einem Amazon S3-Bucket gespeichert sind. Täglich werden neue Daten zum S3-Bucket hinzugefügt. Ein Solutions Architect stellt fest, dass AWS Glue bei jedem Durchlauf alle Daten erneut verarbeitet. Was sollte der Solutions Architect tun, um zu verhindern, dass AWS Glue alte Daten erneut verarbeitet?

Die Verwendung von AWS Glue Job Bookmarks ist die korrekte Lösung. Job Bookmarks verfolgen den Zustand der bereits verarbeiteten Daten und stellen sicher, dass AWS Glue nur neue oder geänderte Daten verarbeitet. Dies verhindert eine redundante Verarbeitung und spart Rechenressourcen. Das Löschen von Daten nach der Verarbeitung ist keine gute Praxis, da dies zu Datenverlust führen kann und die Möglichkeit zur Neuverarbeitung oder Fehlerbehebung einschränkt. Das Setzen von NumberOfWorkers auf 1 würde die Leistung des Jobs beeinträchtigen und nicht verhindern, dass alte Daten erneut verarbeitet werden. Eine FindMatches ML-Transformation dient der Datendeduplizierung und ist nicht dazu gedacht, die inkrementelle Verarbeitung von Daten zu steuern.