Uma empresa realiza análises trimestrais de dados em um data lake para executar verificações de inventário. Um engenheiro de dados usa o AWS Glue DataBrew para encontrar qualquer informação de identificação pessoal (PII) sobre clientes nos dados. As regras de privacidade da empresa incluem algumas categorias de PII personalizadas que não fazem parte das regras de qualidade de dados integradas do DataBrew. O engenheiro deve atualizar o processo para verificar essas categorias de PII personalizadas em muitos conjuntos de dados no data lake. Qual abordagem atende ao requisito com o menor overhead operacional?

A criação de regras de qualidade de dados personalizadas no DataBrew é a solução com menor overhead operacional porque o DataBrew oferece suporte nativo à definição de regras personalizadas para detecção de PII. Isso permite que o engenheiro integre as novas categorias de PII diretamente no fluxo de trabalho existente do DataBrew, aproveitando sua interface visual e recursos gerenciados. Revisar manualmente os conjuntos de dados é inviável para muitos conjuntos de dados e altamente propenso a erros. Escrever scripts Python personalizados para detecção de PII e invocá-los do DataBrew adiciona complexidade e overhead de manutenção, pois exigiria gerenciar o código e sua integração. Usar expressões regulares durante o processo de ETL é uma abordagem válida para detecção de PII, mas pode ser mais complexa de gerenciar e atualizar em comparação com as regras personalizadas do DataBrew, que são projetadas para esse fim específico e podem ser aplicadas de forma mais centralizada.