Un ingénieur de données doit créer un catalogue de données d'entreprise couvrant les buckets S3 et les bases de données RDS, et le catalogue doit inclure les métadonnées du format de stockage. Quelle solution demande le moins d'effort ?

La bonne réponse est d'utiliser un crawler AWS Glue pour remplir le catalogue et s'appuyer sur les classificateurs du crawler AWS Glue pour détecter les formats de données et stocker ces informations de format dans le catalogue. AWS Glue Crawlers sont conçus pour analyser les sources de données (S3, RDS, etc.), détecter automatiquement les schémas et les formats de données à l'aide de classificateurs intégrés ou personnalisés, puis créer des tables de métadonnées dans le AWS Glue Data Catalog. Cette approche est la plus efficace car elle automatise la détection du format de stockage, réduisant ainsi l'effort manuel. L'option d'inspection manuelle des métadonnées de format est inefficace et sujette aux erreurs. Amazon Macie est un service de découverte et de protection des données sensibles, pas un outil principal pour la création de catalogues de données avec des métadonnées de format de stockage. Écrire des scripts personnalisés est une solution coûteuse en temps et en ressources, car AWS Glue offre déjà cette fonctionnalité de manière gérée.