Une entreprise exécute plusieurs tâches AWS Glue ETL qui lisent les données S3 à l'aide d'un DynamicFrame et chargent les données transformées dans Amazon RDS for MySQL une fois par jour. Actuellement, les tâches retraitent tous les objets du compartiment S3, mais l'entreprise souhaite que les tâches n'opèrent que sur les données incrémentielles quotidiennes. Quelle solution nécessite le MOINS de modifications de code ?

L'activation des signets de tâche (job bookmarks) est la solution la plus efficace et nécessite le moins de modifications de code. Les signets de tâche AWS Glue suivent l'état des données traitées lors des exécutions précédentes, permettant aux tâches de ne traiter que les nouvelles données ou les données modifiées lors des exécutions ultérieures. Cela correspond directement à l'exigence de traiter uniquement les données incrémentielles quotidiennes. Créer une tâche ETL pour lire l'état du fichier S3 et l'enregistrer dans DynamoDB nécessiterait un développement et une maintenance supplémentaires. Activer les métriques de tâche pour suivre les objets traités dans CloudWatch ne permettrait pas de filtrer les données incrémentielles, mais seulement de surveiller l'activité. Configurer les tâches ETL pour supprimer les objets traités d'Amazon S3 n'est pas une bonne pratique de gestion des données et pourrait entraîner une perte de données ou des problèmes de traçabilité.