Um engenheiro de dados está construindo um pipeline ETL AWS Glue automatizado que ingere arquivos compactados de um bucket Amazon S3 e deve suportar processamento incremental. Qual recurso do AWS Glue permite a ingestão incremental?

Job bookmarks são a funcionalidade do AWS Glue que permite o processamento incremental de dados. Eles rastreiam os dados processados anteriormente, garantindo que apenas novos ou alterados dados sejam processados em execuções subsequentes de um job. Isso otimiza o desempenho e reduz custos, evitando o reprocessamento de dados já ingeridos. Workflows orquestram múltiplos jobs e crawlers, mas não gerenciam o estado incremental dos dados. Triggers iniciam jobs ou workflows com base em eventos ou agendamentos, mas não controlam quais dados são processados. Classifiers inferem o esquema dos dados, mas não têm relação com o processamento incremental.