Компания ежедневно в одно и то же время запускает задание AWS Glue ETL для обработки XML-данных, хранящихся в бакете Amazon S3. Новые данные добавляются в бакет S3 ежедневно. Архитектор решений замечает, что AWS Glue повторно обрабатывает все данные при каждом запуске. Что должен сделать архитектор решений, чтобы AWS Glue не обрабатывал старые данные повторно?

Использование закладок заданий (job bookmarks) AWS Glue позволяет отслеживать уже обработанные данные в источнике, предотвращая повторную обработку одних и тех же файлов при последующих запусках. Это значительно повышает эффективность ETL-процессов. Удаление данных после обработки не всегда возможно или желательно, так как данные могут потребоваться для других целей. Установка NumberOfWorkers в 1 не решает проблему повторной обработки, а лишь влияет на производительность задания. FindMatches — это преобразование машинного обучения для поиска дубликатов, а не механизм для предотвращения повторной обработки данных в целом.