Uno sviluppatore sta eseguendo il debug di un processo AWS Glue che legge da S3 e scrive su Amazon Redshift. I bookmark sono abilitati e la concorrenza massima è impostata su 1. Il processo scrive correttamente su Redshift, ma le esecuzioni successive rielaborano i file che erano già stati caricati nelle esecuzioni precedenti. Qual è la causa più probabile?

La risposta corretta è che il processo AWS Glue non ha un'istruzione di commit richiesta. AWS Glue bookmark funzionano tracciando lo stato dei dati elaborati. Affinché i bookmark vengano aggiornati correttamente dopo un'esecuzione riuscita, il processo Glue deve includere un'istruzione di commit esplicita (ad esempio, job.commit()). Senza di essa, anche se i dati vengono scritti su Redshift, lo stato del bookmark non viene aggiornato, portando alla rielaborazione degli stessi file nelle esecuzioni successive. Le altre opzioni sono meno probabili: s3:GetObjectAcl non è un permesso direttamente correlato al funzionamento dei bookmark di Glue. I permessi principali sono s3:GetObject e s3:ListBucket. La concorrenza massima impostata su 1 non impedisce il corretto funzionamento dei bookmark; influisce solo sul numero di esecuzioni simultanee del processo. Una versione precedente di AWS Glue potrebbe avere comportamenti diversi, ma la mancanza di un commit esplicito è un requisito fondamentale per l'aggiornamento dei bookmark in molte versioni.