Een bedrijf voert elke dag op hetzelfde tijdstip een AWS Glue ETL-taak uit om XML-gegevens te verwerken die zijn opgeslagen in een Amazon S3-bucket. Er worden dagelijks nieuwe gegevens aan de S3-bucket toegevoegd. Een solutions architect merkt op dat AWS Glue bij elke uitvoering alle gegevens opnieuw verwerkt. Wat moet de solutions architect doen om te voorkomen dat AWS Glue oude gegevens opnieuw verwerkt?

Het bewerken van de taak om job bookmarks te gebruiken, is de juiste oplossing. AWS Glue job bookmarks houden de status van eerder verwerkte gegevens bij, zodat alleen nieuwe of gewijzigde gegevens worden verwerkt bij volgende uitvoeringen. Dit voorkomt onnodige herverwerking van oude gegevens, wat de efficiëntie verhoogt en kosten verlaagt. Het verwijderen van gegevens na verwerking is geen oplossing, omdat dit de gegevens permanent zou verwijderen en toekomstige analyses of herstel onmogelijk zou maken. Het instellen van NumberOfWorkers op 1 zou de prestaties van de taak verminderen en heeft geen invloed op het herverwerken van gegevens. Een FindMatches machine learning (ML) transformatie is bedoeld voor het vinden van overeenkomende records in datasets en is niet relevant voor het voorkomen van herverwerking van gegevens.