Ein Unternehmen migriert lokale Hadoop-Cluster zu Amazon EMR und muss einen bestehenden Apache Hive Metastore in eine persistente, serverlose Lösung für den Datenkatalog verschieben. Welcher Ansatz ist der kostengünstigste und erfüllt die serverlose Anforderung?

Die korrekte Option ist die kostengünstigste und serverlose Lösung. AWS Glue Data Catalog ist ein vollständig verwalteter, serverloser Metadatendienst, der als persistenter Hive Metastore für EMR-Cluster fungieren kann. Die Migration des bestehenden lokalen Hive Metastore zu EMR und die anschließende Nutzung des AWS Glue Data Catalog als externen Datenkatalog ermöglicht die Wiederverwendung bestehender Metadaten und bietet eine serverlose, skalierbare und kostengünstige Lösung. Die Migration zu Amazon S3 und das Scannen durch AWS Glue Data Catalog ist keine direkte Migration des Metastore, sondern eine Neuerstellung des Katalogs. Die Verwendung von Amazon Aurora MySQL ist nicht serverlos im Sinne eines vollständig verwalteten Metastore-Dienstes und kann teurer sein. Ein neuer Hive Metastore in EMR ist nicht persistent über Cluster-Lebenszyklen hinweg und daher nicht ideal für einen unternehmensweiten Datenkatalog.