Инженер данных создает автоматизированный конвейер AWS Glue ETL, который принимает сжатые файлы из корзины Amazon S3 и должен поддерживать инкрементальную обработку. Какая функция AWS Glue обеспечивает инкрементальное поглощение данных?

Job bookmarks (закладки заданий) — это функция AWS Glue, которая отслеживает состояние ранее обработанных данных, позволяя конвейеру ETL обрабатывать только новые или измененные данные при последующих запусках. Это обеспечивает инкрементальную обработку, что критически важно для эффективности и снижения затрат при работе с большими объемами данных. Workflows (рабочие процессы) используются для оркестрации нескольких заданий, триггеров и краулеров, но сами по себе не управляют инкрементальной обработкой. Triggers (триггеры) запускают задания или рабочие процессы на основе расписания или событий, но не отслеживают состояние обработанных данных. Classifiers (классификаторы) помогают AWS Glue определять схему данных, но не имеют отношения к инкрементальному поглощению.