Bir şirket, envanter kontrolleri yapmak için bir veri gölündeki verilerin üç aylık analizlerini gerçekleştiriyor. Bir veri mühendisi, verilerdeki müşterilere ait kişisel olarak tanımlanabilir bilgileri (PII) bulmak için AWS Glue DataBrew kullanıyor. Şirketin gizlilik kuralları, DataBrew'ün yerleşik veri kalitesi kurallarının bir parçası olmayan bazı özel PII kategorilerini içeriyor. Mühendisin, veri gölündeki birçok veri kümesinde bu özel PII kategorilerini taramak için süreci güncellemesi gerekiyor. En az operasyonel yük ile gereksinimi karşılayan yaklaşım hangisidir?

Doğru cevap, DataBrew'de özel veri kalitesi kuralları oluşturmak ve bunları veri kümelerine uygulamaktır. AWS Glue DataBrew, yerleşik veri kalitesi kurallarına ek olarak özel veri kalitesi kuralları tanımlamanıza olanak tanır. Bu sayede şirketinizin özel PII kategorilerini tespit etmek için kendi kurallarınızı oluşturabilir ve bunları veri gölündeki birden fazla veri kümesine kolayca uygulayabilirsiniz. Bu yaklaşım, operasyonel yükü en aza indirir çünkü DataBrew'ün yönetilen hizmet yeteneklerinden faydalanır ve manuel inceleme veya özel betik geliştirme ihtiyacını ortadan kaldırır. Manuel inceleme zaman alıcı ve hataya açık bir yöntemdir. Özel Python betikleri yazmak ve bunları DataBrew'den çağırmak, ek geliştirme ve bakım yükü getirir. ETL işlemi sırasında düzenli ifadeler kullanmak, PII tespiti için etkili olabilir ancak bu, DataBrew'ün veri kalitesi ve profil oluşturma yeteneklerini kullanmak yerine ayrı bir adım gerektirir ve DataBrew'ün sunduğu entegre çözümü atlar.