Een bedrijf draait meerdere AWS Glue ETL-taken die S3-gegevens lezen met behulp van een DynamicFrame en eenmaal per dag getransformeerde gegevens laden in Amazon RDS for MySQL. Momenteel verwerken de taken alle objecten in de S3-bucket opnieuw, maar het bedrijf wil dat de taken alleen werken op de dagelijkse incrementele gegevens. Welke oplossing vereist de MINSTE hoeveelheid codewijzigingen?

Job bookmarks in AWS Glue zijn ontworpen om de status van eerder verwerkte gegevens bij te houden, zodat ETL-taken alleen nieuwe of gewijzigde gegevens verwerken. Dit is de meest efficiënte oplossing met de minste codewijzigingen, omdat het een ingebouwde functie van AWS Glue is die specifiek voor dit doel dient. Het handmatig bijhouden van de S3-bestandsstatus in DynamoDB zou aanzienlijke codeontwikkeling en onderhoud vereisen. Job metrics (taakstatistieken) in CloudWatch zijn voor monitoring, niet voor het bijhouden van verwerkte gegevens. Het verwijderen van verwerkte objecten uit S3 is geen robuuste oplossing voor incrementele verwerking en kan leiden tot gegevensverlies of complexiteit bij het opnieuw verwerken van gegevens.