Une entreprise a besoin d'un catalogue de données centralisé et d'une gestion des métadonnées pour les sources de données basées sur le cloud (sources structurées telles qu'Amazon RDS et Redshift, et fichiers semi-structurés dans S3). Le catalogue doit être actualisé régulièrement et détecter les modifications de métadonnées avec un minimum de frais opérationnels. Quelle solution répond à ces exigences ?

La bonne réponse est d'utiliser le catalogue de données AWS Glue avec des crawlers. AWS Glue Data Catalog est un référentiel de métadonnées centralisé et géré, conçu spécifiquement pour cette tâche. Les crawlers AWS Glue peuvent se connecter automatiquement à diverses sources de données (Amazon RDS, Redshift, S3) pour découvrir les schémas, inférer les formats de données et détecter les modifications de métadonnées, puis mettre à jour le catalogue. La planification des crawlers garantit une actualisation régulière avec un minimum d'effort opérationnel. Les autres options sont moins efficaces ou inappropriées : Utiliser Amazon Aurora ou DynamoDB comme catalogue de données nécessiterait un développement personnalisé important avec des fonctions Lambda pour la découverte des métadonnées et la gestion des modifications, augmentant les frais opérationnels et la complexité par rapport à AWS Glue. La dernière option, bien qu'elle utilise le catalogue AWS Glue, suggère une approche manuelle ou semi-manuelle pour RDS et Redshift, ce qui est moins efficace que l'utilisation des crawlers pour toutes les sources, qui gèrent automatiquement la découverte et les mises à jour.