Инженер данных должен поддерживать центральное хранилище метаданных, доступное из Amazon EMR и запросов Amazon Athena, и импортировать в него существующие метаданные Apache Hive с минимальными усилиями по разработке. Какое решение следует использовать?

AWS Glue Data Catalog — это полностью управляемый центральный репозиторий метаданных, который совместим с Apache Hive Metastore. Он легко интегрируется с Amazon EMR и Amazon Athena, позволяя обоим сервисам обнаруживать и запрашивать данные, описанные в каталоге. Это решение минимизирует усилия по разработке, поскольку оно не требует настройки и обслуживания собственного сервера метаданных и поддерживает импорт существующих метаданных Apache Hive. Использование Amazon EMR и Apache Ranger не решает проблему централизованного хранилища метаданных, а фокусируется на безопасности. Использование Hive metastore на кластере EMR не является централизованным и требует управления, а также привязано к жизненному циклу кластера. Использование metastore на инстансе Amazon RDS for MySQL DB требует самостоятельного управления и интеграции, что увеличивает усилия по разработке и обслуживанию по сравнению с полностью управляемым AWS Glue Data Catalog.