Uma empresa executa um trabalho ETL do AWS Glue todos os dias no mesmo horário para processar dados XML armazenados em um bucket do Amazon S3. Novos dados são adicionados ao bucket S3 diariamente. Um arquiteto de soluções percebe que o AWS Glue está reprocessando todos os dados a cada execução. O que o arquiteto de soluções deve fazer para evitar que o AWS Glue reprocesse dados antigos?

A opção correta é "Edite o trabalho para usar job bookmarks". Os job bookmarks do AWS Glue rastreiam dados processados anteriormente, permitindo que o trabalho processe apenas novos dados em execuções subsequentes. Isso evita a reprocessamento de dados antigos, otimizando o desempenho e reduzindo custos. "Edite o trabalho para excluir os dados após o processamento" não é uma solução viável, pois os dados podem ser necessários para auditoria ou outras análises. Além disso, a exclusão dos dados não impede o reprocessamento de dados que ainda estão presentes. "Edite o trabalho definindo o campo NumberOfWorkers como 1" afeta a capacidade de processamento paralelo do trabalho, não a lógica de reprocessamento de dados. Isso pode até aumentar o tempo de execução. "Use uma transformação de machine learning (ML) FindMatches" é usada para encontrar registros duplicados ou correspondentes em conjuntos de dados, não para gerenciar o reprocessamento de dados em execuções de ETL.