Ein Entwickler debuggt einen AWS Glue-Job, der Daten aus S3 liest und in Amazon Redshift schreibt. Bookmarks sind aktiviert und die maximale Parallelität ist auf 1 gesetzt. Der Job schreibt erfolgreich nach Redshift, aber nachfolgende Ausführungen verarbeiten Dateien erneut, die bereits in früheren Ausführungen geladen wurden. Was ist die wahrscheinlichste Ursache?

Die wahrscheinlichste Ursache ist, dass dem AWS Glue-Job eine erforderliche Commit-Anweisung fehlt. Wenn AWS Glue-Bookmarks aktiviert sind, verfolgt Glue den Zustand der verarbeiteten Daten. Damit diese Verfolgung korrekt funktioniert und nachfolgende Ausführungen nur neue Daten verarbeiten, muss der Job explizit einen Commit für die verarbeiteten Daten ausführen. Ohne einen Commit werden die Änderungen nicht als abgeschlossen markiert, und die Bookmarks erkennen die Daten nicht als verarbeitet an, was zu einer erneuten Verarbeitung führt. Die Berechtigung s3:GetObjectAcl ist für Bookmarks nicht zwingend erforderlich; Bookmarks basieren auf Metadaten und Dateigrößen. Eine maximale Parallelität von 1 beeinflusst die Verarbeitung neuer Daten nicht, sondern beschränkt lediglich die Anzahl gleichzeitiger Aufgaben. Eine ältere Glue-Version ist unwahrscheinlich die Ursache, da das Problem spezifisch die Bookmark-Funktionalität betrifft, die in allen relevanten Versionen ähnlich funktioniert.