Разработчик отлаживает задание AWS Glue, которое считывает данные из S3 и записывает их в Amazon Redshift. Закладки включены, а максимальная параллельность установлена на 1. Задание успешно записывает данные в Redshift, но последующие запуски повторно обрабатывают файлы, которые уже были загружены в предыдущих запусках. Какова наиболее вероятная причина?

Наиболее вероятная причина заключается в отсутствии оператора commit в задании AWS Glue. Закладки AWS Glue отслеживают состояние обработанных данных, чтобы предотвратить повторную обработку. Однако для того чтобы закладки были зафиксированы и вступили в силу, задание должно явно вызвать метод commit() для объекта GlueContext или DataSink. Если commit() не вызывается, состояние закладки не сохраняется, и при следующем запуске задание будет обрабатывать все файлы заново. Разрешение s3:GetObjectAcl не является обязательным для работы закладок. Максимальная параллельность, установленная на 1, не влияет на логику работы закладок, а лишь ограничивает количество одновременно выполняемых задач. Использование старой версии AWS Glue также маловероятно приведет к такой специфической проблеме, как игнорирование закладок при наличии всех необходимых вызовов API.