Un ingegnere dei dati deve mantenere un repository di metadati centrale accessibile dalle query Amazon EMR e Amazon Athena e deve importare i metadati Apache Hive esistenti al suo interno con il minimo sforzo di sviluppo. Quale soluzione dovrebbe utilizzare?

AWS Glue Data Catalog è la soluzione corretta perché fornisce un repository di metadati centrale, gestito e serverless, compatibile con Apache Hive. Permette l'importazione di metadati Hive esistenti con il minimo sforzo, integrandosi nativamente con Amazon EMR e Amazon Athena, soddisfacendo tutti i requisiti. Le altre opzioni non sono ideali: Utilizzare Amazon EMR e Apache Ranger non è sufficiente, poiché Apache Ranger si occupa principalmente di autorizzazione e non di un catalogo di metadati centrale per Athena. Un Hive metastore su un cluster EMR è una soluzione self-managed che richiede gestione e non è intrinsecamente accessibile da Athena senza configurazioni aggiuntive e complesse. Un metastore su un'istanza DB Amazon RDS for MySQL è anch'esso self-managed, richiedendo manutenzione e configurazione per l'integrazione con EMR e Athena, e non offre la stessa semplicità e scalabilità di Glue Data Catalog.