개발자가 S3에서 읽고 Amazon Redshift에 쓰는 AWS Glue 작업을 디버깅하고 있습니다. 북마크가 활성화되어 있고 최대 동시성(maximum concurrency)은 1로 설정되어 있습니다. 작업은 Redshift에 성공적으로 쓰지만, 후속 실행 시 이전 실행에서 이미 로드된 파일을 다시 처리합니다. 가장 가능성 있는 원인은 무엇입니까?

AWS Glue 북마크는 소스 데이터가 성공적으로 처리되었음을 기록하기 위해 커밋 문을 필요로 합니다. 커밋 문이 없으면 Glue 작업은 이전 실행에서 처리된 파일을 다시 처리하여 중복을 발생시킵니다. s3:GetObjectAcl 권한은 북마크 기능 자체와는 직접적인 관련이 없으며, 최대 동시성 1은 작업이 한 번에 한 인스턴스만 실행되도록 보장하지만 데이터 재처리를 유발하지는 않습니다. Glue 버전 지정 오류는 다른 유형의 오류를 유발할 수 있지만, 북마크가 활성화된 상태에서 데이터 재처리를 직접적으로 설명하지는 않습니다.