Un partner inserisce un file di dati in un bucket Amazon S3 ogni giorno. Un job AWS Glue ETL pulisce e trasforma il file quotidianamente e scrive il risultato in Daily.csv in un altro bucket S3. A volte il file in ingresso è vuoto o presenta campi obbligatori mancanti; in questi casi, l'azienda desidera mantenere il CSV del giorno precedente. L'ingegnere deve assicurarsi che il file del giorno precedente venga sovrascritto solo quando il nuovo file giornaliero è completo e valido. Quale soluzione raggiunge questo obiettivo con il minor sforzo?

La soluzione corretta è abilitare AWS Glue Data Quality (DQ) all'interno del job ETL e creare regole DQDL. Glue DQ consente di definire regole per convalidare la qualità dei dati (ad esempio, file vuoti, campi obbligatori mancanti) direttamente nel job Glue ETL. Se i controlli di qualità falliscono, il job può essere configurato per non sovrascrivere il file precedente, garantendo che il file del giorno precedente venga mantenuto. Questo è il metodo più integrato e con il minor sforzo per gestire la logica di fallback. Le altre opzioni sono meno efficienti: Una funzione Lambda richiederebbe una logica di validazione personalizzata e la gestione della logica di fallback, aumentando la complessità. Modificare il codice Glue ETL per imputare i campi non risolve il problema dei file vuoti e potrebbe introdurre dati errati se l'imputazione non è appropriata. Usare Amazon Athena per pulire il CSV implicherebbe un passaggio aggiuntivo e non è la soluzione più efficiente per la validazione e il controllo della sovrascrittura.