Une entreprise exécute quotidiennement un job AWS Glue ETL à la même heure pour traiter les données XML stockées dans un compartiment Amazon S3. De nouvelles données sont ajoutées quotidiennement au compartiment S3. Un architecte de solutions constate qu'AWS Glue retraite toutes les données à chaque exécution. Que doit faire l'architecte de solutions pour empêcher AWS Glue de retraiter les anciennes données ?

L'utilisation de signets de job (job bookmarks) est la solution appropriée car ils permettent à AWS Glue de suivre les données qui ont déjà été traitées lors des exécutions précédentes. Cela garantit que seules les nouvelles données sont traitées à chaque exécution du job ETL, évitant ainsi le retraitement inutile des anciennes données. Supprimer les données après leur traitement n'est pas une bonne pratique, car cela pourrait entraîner une perte de données si un problème survient lors du traitement ou si les données doivent être réanalysées. Définir NumberOfWorkers sur 1 réduirait la parallélisation et la performance du job, mais n'empêcherait pas le retraitement des anciennes données. La transformation FindMatches est utilisée pour identifier les enregistrements dupliqués ou similaires dans un ensemble de données, ce qui n'est pas pertinent pour empêcher le retraitement des données existantes.