Un'azienda esegue più processi AWS Glue ETL che leggono i dati S3 utilizzando un DynamicFrame e caricano i dati trasformati in Amazon RDS for MySQL una volta al giorno. Attualmente i processi rielaborano tutti gli oggetti nel bucket S3, ma l'azienda desidera che i processi operino solo sui dati incrementali giornalieri. Quale soluzione richiede la MINORE quantità di modifiche al codice?

Abilitare i job bookmarks è la soluzione più efficiente e richiede il minor numero di modifiche al codice. I job bookmarks di AWS Glue tengono traccia dei dati già elaborati da un job ETL, consentendo al job di elaborare solo i nuovi dati nelle esecuzioni successive. Questo è esattamente ciò che l'azienda desidera per gestire i dati incrementali giornalieri. Creare un processo ETL separato per monitorare lo stato dei file S3 e registrarlo in DynamoDB richiederebbe uno sviluppo e una manutenzione significativi, aumentando la complessità. Abilitare le metriche dei processi in CloudWatch è utile per il monitoraggio delle prestazioni, ma non gestisce l'elaborazione incrementale dei dati. Configurare i processi ETL per eliminare gli oggetti S3 dopo l'elaborazione non è una pratica consigliata per la gestione dei dati, in quanto potrebbe portare a perdite di dati e non risolve il problema dell'elaborazione incrementale.