Une entreprise effectue des analyses trimestrielles des données d'un lac de données pour vérifier les stocks. Un ingénieur de données utilise AWS Glue DataBrew pour trouver toute information personnellement identifiable (PII) sur les clients dans les données. Les règles de confidentialité de l'entreprise incluent des catégories de PII personnalisées qui ne font pas partie des règles de qualité des données intégrées de DataBrew. L'ingénieur doit mettre à jour le processus pour rechercher ces catégories de PII personnalisées dans de nombreux ensembles de données du lac de données. Quelle approche répond à l'exigence avec le moins de frais opérationnels ?

La création de règles de qualité des données personnalisées dans DataBrew est la solution la plus efficace car elle permet d'intégrer directement les catégories de PII spécifiques à l'entreprise dans le processus de DataBrew. Cela minimise les frais opérationnels en utilisant les capacités natives de la plateforme pour la détection des PII personnalisées à travers de multiples ensembles de données, sans nécessiter de gestion de code externe. L'examen manuel est inefficace et sujet aux erreurs. Les scripts Python personnalisés augmentent la complexité et les frais opérationnels de maintenance. L'utilisation d'expressions régulières pendant l'ETL est une approche valide pour la détection de PII, mais l'intégration de règles personnalisées directement dans DataBrew est plus alignée avec l'utilisation de l'outil pour la qualité des données et la détection de PII.