Un développeur débogue un job AWS Glue qui lit des données depuis S3 et les écrit dans Amazon Redshift. Les signets (bookmarks) sont activés et la concurrence maximale est définie sur 1. Le job écrit correctement dans Redshift, mais les exécutions ultérieures retraitent des fichiers qui avaient déjà été chargés lors d'exécutions précédentes. Quelle est la cause la plus probable ?

Les signets AWS Glue (Glue bookmarks) suivent les données traitées en fonction des métadonnées des fichiers source. Pour qu'ils fonctionnent correctement, le job Glue doit explicitement appeler la méthode job.commit() à la fin de chaque exécution réussie. Sans cette instruction de commit, Glue ne met pas à jour l'état des signets, ce qui entraîne le retraitement des mêmes fichiers lors des exécutions ultérieures. Les autres options sont moins probables : s3:GetObjectAcl n'est généralement pas une permission manquante courante pour les signets, qui se basent principalement sur s3:GetObject et s3:ListBucket. La concurrence maximale à 1 n'empêche pas les signets de fonctionner, elle limite simplement les exécutions simultanées. Une version plus ancienne de Glue pourrait avoir des comportements différents, mais le problème du commit est fondamental pour le fonctionnement des signets.