Un'azienda necessita di un catalogo dati centralizzato e di una gestione dei metadati per le origini dati basate su cloud (origini strutturate come Amazon RDS e Redshift, e file semistrutturati in S3). Il catalogo deve essere aggiornato regolarmente e rilevare le modifiche ai metadati con un sovraccarico operativo minimo. Quale soluzione soddisfa questi requisiti?

La soluzione corretta sfrutta AWS Glue Data Catalog e i suoi crawler, che sono progettati specificamente per la scoperta automatica dei metadati e la gestione di un catalogo dati centralizzato su larga scala. I crawler di Glue possono connettersi a diverse origini dati (RDS, Redshift, S3) per inferire schemi e rilevare modifiche, aggiornando automaticamente il Data Catalog con un sovraccarico operativo minimo. Le opzioni che propongono Aurora o DynamoDB come catalogo richiedono uno sviluppo personalizzato significativo (funzioni Lambda per la raccolta e l'aggiornamento dei metadati), aumentando la complessità e il carico operativo. L'ultima opzione, sebbene utilizzi AWS Glue Data Catalog, propone un approccio manuale per RDS e Redshift ("Estrarre lo schema... e costruire il Data Catalog"), che non soddisfa il requisito di "rilevare le modifiche ai metadati con un sovraccarico operativo minimo" per tutte le origini.