Een bedrijf voert driemaandelijkse analyses uit van gegevens in een data lake om voorraadcontroles uit te voeren. Een data engineer gebruikt AWS Glue DataBrew om persoonlijk identificeerbare informatie (PII) over klanten in de gegevens te vinden. De privacyregels van het bedrijf omvatten enkele aangepaste PII-categorieën die geen deel uitmaken van de ingebouwde datakwaliteitsregels van DataBrew. De engineer moet het proces bijwerken om te scannen op deze aangepaste PII-categorieën in veel datasets in het data lake. Welke aanpak voldoet aan de vereiste met de minste operationele overhead?

Het maken van aangepaste datakwaliteitsregels in DataBrew is de meest efficiënte oplossing. DataBrew ondersteunt het definiëren van aangepaste regels die specifiek zijn voor de unieke PII-categorieën van het bedrijf. Deze regels kunnen vervolgens eenvoudig worden toegepast op meerdere datasets, wat zorgt voor consistentie en minimale operationele overhead. Handmatige controle is tijdrovend en foutgevoelig, vooral bij veel datasets. Het schrijven van aangepaste Python-scripts introduceert extra ontwikkelings- en onderhoudslast, wat de operationele overhead verhoogt. Het gebruik van reguliere expressies tijdens het ETL-proces is een optie, maar het integreren van deze logica direct in DataBrew via aangepaste regels is gestroomlijnder en beter beheerbaar binnen het bestaande DataBrew-framework.