Ein Unternehmen benötigt einen zentralisierten Datenkatalog und Metadatenmanagement für cloudbasierte Datenquellen (strukturierte Quellen wie Amazon RDS und Redshift und semistrukturierte Dateien in S3). Der Katalog muss regelmäßig aktualisiert werden und Metadatenänderungen mit minimalem Betriebsaufwand erkennen. Welche Lösung erfüllt diese Anforderungen?

Die korrekte Lösung ist die Verwendung des AWS Glue Data Catalog mit AWS Glue Crawlern. Der AWS Glue Data Catalog ist ein vollständig verwalteter Metadaten-Repository, der speziell für diesen Zweck entwickelt wurde. AWS Glue Crawler können automatisch eine Verbindung zu verschiedenen Datenquellen wie Amazon RDS, Redshift und S3 herstellen, Schemata ableiten und Metadatenänderungen erkennen, um den Katalog zu aktualisieren. Dies minimiert den Betriebsaufwand, da die Crawler die Erkennung und Aktualisierung automatisieren. Die anderen Optionen sind weniger geeignet, da sie entweder eine manuelle Entwicklung und Wartung von Lambda-Funktionen erfordern (Aurora oder DynamoDB als Katalog) oder die Funktionalität von Glue Crawlern nicht vollständig nutzen (manuelles Extrahieren von Schemata für RDS und Redshift). Aurora und DynamoDB sind Datenbanken, die zwar Daten speichern können, aber nicht die integrierte Schemaerkennung und Metadatenverwaltung bieten, die der AWS Glue Data Catalog von Haus aus mitbringt.