Ein Unternehmen führt vierteljährliche Analysen von Daten in einem Data Lake durch, um Bestandskontrollen durchzuführen. Ein Data Engineer verwendet AWS Glue DataBrew, um personenbezogene Daten (PII) von Kunden in den Daten zu finden. Die Datenschutzregeln des Unternehmens umfassen einige benutzerdefinierte PII-Kategorien, die nicht Teil der integrierten Datenqualitätsregeln von DataBrew sind. Der Engineer muss den Prozess aktualisieren, um diese benutzerdefinierten PII-Kategorien in vielen Datensätzen im Data Lake zu scannen. Welcher Ansatz erfüllt die Anforderung mit dem geringsten Betriebsaufwand?

Das Erstellen benutzerdefinierter Datenqualitätsregeln in AWS Glue DataBrew ist die effizienteste Lösung. DataBrew ermöglicht es Ihnen, eigene Regeln zu definieren, die auf spezifische Muster oder Bedingungen in Ihren Daten zugeschnitten sind, was den geringsten Betriebsaufwand verursacht. Diese Regeln können dann direkt auf mehrere Datensätze angewendet werden, um die benutzerdefinierten PII-Kategorien zu identifizieren. Manuelles Überprüfen ist zeitaufwändig und fehleranfällig. Benutzerdefinierte Python-Skripte erfordern Entwicklungs- und Wartungsaufwand außerhalb von DataBrew. Reguläre Ausdrücke während des ETL-Prozesses sind zwar möglich, aber das Management und die Skalierung dieser Logik für viele Datensätze ist in DataBrew mit seinen integrierten Funktionen einfacher zu handhaben.