Un desarrollador está depurando un trabajo de AWS Glue que lee desde S3 y escribe en Amazon Redshift. Los marcadores (bookmarks) están habilitados y la concurrencia máxima está establecida en 1. El trabajo escribe correctamente en Redshift, pero las ejecuciones posteriores reprocesan archivos que ya se cargaron en ejecuciones anteriores. ¿Cuál es la causa más probable?

La causa más probable es que el trabajo de AWS Glue no tiene una instrucción de commit requerida. Para que los marcadores (job bookmarks) de AWS Glue funcionen correctamente con Amazon Redshift, es fundamental que el trabajo realice un commit explícito después de escribir los datos. Sin un commit, AWS Glue no registra el estado de los archivos procesados en el marcador, lo que provoca que las ejecuciones posteriores reprocesen los mismos archivos. Las otras opciones son menos probables: s3:GetObjectAcl no es un permiso estándar requerido para el funcionamiento básico de los marcadores de Glue; los permisos de lectura (s3:GetObject) son más relevantes. La concurrencia máxima en 1 no impide que los marcadores funcionen, solo limita la ejecución simultánea. Especificar una versión anterior de AWS Glue podría causar otros problemas, pero no es la causa directa de que los marcadores ignoren el estado de los archivos procesados si el commit está ausente.