I dati dei clienti vengono archiviati quotidianamente in file compressi e partizionati per data in S3. Gli analisti scaricano, convalidano e caricano mensilmente i risultati su QuickSight. L'ingegnere deve controllare automaticamente la qualità dei dati prima che vengano inviati a QuickSight con il MINOR overhead operativo. Qual è la soluzione migliore?

L'opzione corretta sfrutta le funzionalità native di AWS Glue Data Quality, che consentono di definire regole di qualità dei dati direttamente sul Data Catalog. Questo approccio è il più efficiente dal punto di vista operativo perché le regole sono gestite all'interno di Glue e possono essere applicate automaticamente quando il crawler aggiorna il catalogo, senza richiedere la scrittura di codice personalizzato per la validazione. L'opzione che prevede un job Glue con PySpark per funzioni personalizzate è valida ma introduce un overhead operativo maggiore per lo sviluppo e la manutenzione del codice. L'opzione Lambda con script Python è meno adatta perché la validazione mensile di grandi volumi di dati compressi potrebbe superare i limiti di esecuzione di Lambda e richiederebbe una gestione complessa dello stato. L'opzione SQS e CloudWatch Insights non è adeguata per la valutazione della qualità dei dati, poiché CloudWatch Insights è più orientato all'analisi dei log e delle metriche, non alla validazione del contenuto dei dati.