Компании требуется централизованный каталог данных и управление метаданными для облачных источников данных (структурированных источников, таких как Amazon RDS и Redshift, и полуструктурированных файлов в S3). Каталог должен регулярно обновляться и обнаруживать изменения метаданных с минимальными операционными издержками. Какое решение соответствует этим требованиям?

Правильный ответ — использование AWS Glue Data Catalog с AWS Glue crawlers. AWS Glue Data Catalog — это управляемый, централизованный репозиторий метаданных, который идеально подходит для этой задачи, поскольку он предназначен для хранения метаданных из различных источников данных AWS. AWS Glue crawlers автоматически подключаются к источникам данных (Amazon RDS, Redshift, S3), определяют схемы и обновляют Data Catalog с минимальными операционными издержками, что соответствует требованиям к регулярному обновлению и обнаружению изменений. Использование Amazon Aurora или DynamoDB с функциями Lambda для создания каталога данных требует значительных усилий по разработке и обслуживанию для реализации функциональности, которую Glue Data Catalog предоставляет из коробки. Хотя AWS Glue Data Catalog используется в последнем неверном варианте, он предлагает ручное извлечение схем для RDS и Redshift, что менее эффективно, чем автоматическое обнаружение с помощью crawlers для всех источников.