Firma przeprowadza kwartalne analizy danych w jeziorze danych w celu sprawdzenia zapasów. Inżynier danych używa AWS Glue DataBrew do wyszukiwania wszelkich danych osobowych (PII) dotyczących klientów w danych. Zasady prywatności firmy obejmują niestandardowe kategorie PII, które nie są częścią wbudowanych reguł jakości danych DataBrew. Inżynier musi zaktualizować proces, aby skanować te niestandardowe kategorie PII w wielu zestawach danych w jeziorze danych. Które podejście spełnia wymagania przy najmniejszym obciążeniu operacyjnym?

Tworzenie niestandardowych reguł jakości danych w DataBrew i stosowanie ich w zestawach danych to najbardziej efektywne rozwiązanie. AWS Glue DataBrew umożliwia definiowanie własnych reguł jakości danych, co pozwala na identyfikację niestandardowych kategorii PII zgodnie z polityką firmy. Po utworzeniu, reguły te można łatwo zastosować do wielu zestawów danych, minimalizując obciążenie operacyjne i zapewniając spójność. Ręczne przeglądanie jest nieefektywne i podatne na błędy. Pisanie niestandardowych skryptów Python zwiększa złożoność i obciążenie konserwacyjne. Używanie wyrażeń regularnych podczas procesu ETL jest możliwe, ale mniej zintegrowane i trudniejsze w zarządzaniu niż dedykowane reguły DataBrew, zwłaszcza w przypadku złożonych niestandardowych kategorii PII.