Een bedrijf heeft een gecentraliseerde datacatalogus en metadata management nodig voor cloud-gebaseerde databronnen (gestructureerde bronnen zoals Amazon RDS en Redshift, en semi-gestructureerde bestanden in S3). De catalogus moet regelmatig worden ververst en metadatawijzigingen detecteren met minimale operationele overhead. Welke oplossing voldoet aan deze vereisten?

De correcte optie is het gebruik van de AWS Glue Data Catalog met Glue crawlers. De AWS Glue Data Catalog is een volledig beheerde, persistente metadata-opslagplaats die speciaal is ontworpen voor dit doel. Glue crawlers automatiseren het proces van verbinding maken met diverse datastores (RDS, Redshift, S3), het afleiden van schema's en het detecteren van metadatawijzigingen, waarna ze de Data Catalog automatisch bijwerken. Dit minimaliseert operationele overhead en zorgt voor regelmatige verversing. De andere opties zijn minder geschikt: Het gebruik van Amazon Aurora of DynamoDB als datacatalogus vereist handmatige ontwikkeling en onderhoud van Lambda-functies om metadata te verzamelen en te beheren, wat leidt tot hogere operationele overhead en complexiteit vergeleken met de geautomatiseerde functionaliteit van Glue crawlers. De optie die suggereert om schema's handmatig te extraheren voor RDS en Redshift, en alleen crawlers voor S3 te gebruiken, is inefficiënt en mist de automatische detectie van wijzigingen die Glue crawlers bieden voor alle ondersteunde bronnen.