Een ontwikkelaar debugt een AWS Glue-taak die leest van S3 en schrijft naar Amazon Redshift. Bookmarks zijn ingeschakeld en de maximale gelijktijdigheid is ingesteld op 1. De taak schrijft succesvol naar Redshift, maar volgende uitvoeringen verwerken bestanden opnieuw die al in eerdere uitvoeringen waren geladen. Wat is de meest waarschijnlijke oorzaak?

De meest waarschijnlijke oorzaak is dat de AWS Glue-taak geen vereiste commit-statement heeft. Wanneer Glue-bookmarks zijn ingeschakeld, moet de taak expliciet een commit()-bewerking uitvoeren op de GlueContext of de DynamicFrameWriter om de bookmarkstatus bij te werken. Zonder deze commit worden de verwerkte bestanden niet als zodanig gemarkeerd, waardoor ze bij volgende uitvoeringen opnieuw worden verwerkt. De optie over s3:GetObjectAcl-permissie is onjuist; Glue-bookmarks vereisen geen specifieke ACL-permissies, maar eerder s3:GetObject en s3:ListBucket voor het lezen van objecten en s3:PutObject voor het bijwerken van de bookmarkstatus. De maximale gelijktijdigheid van 1 heeft geen invloed op het functioneren van bookmarks, alleen op het aantal gelijktijdige uitvoeringen. Een oudere versie van AWS Glue is onwaarschijnlijk de oorzaak, aangezien het basismechanisme van bookmarks consistent is over de meeste Glue-versies.