Una empresa realiza análisis trimestrales de los datos de un data lake para ejecutar comprobaciones de inventario. Un ingeniero de datos utiliza AWS Glue DataBrew para encontrar cualquier información de identificación personal (PII) sobre los clientes en los datos. Las reglas de privacidad de la empresa incluyen algunas categorías de PII personalizadas que no forman parte de las reglas de calidad de datos integradas de DataBrew. El ingeniero debe actualizar el proceso para buscar estas categorías de PII personalizadas en muchos conjuntos de datos del data lake. ¿Qué enfoque cumple el requisito con la menor sobrecarga operativa?

La opción correcta es crear reglas de calidad de datos personalizadas en DataBrew y aplicarlas a los conjuntos de datos. AWS Glue DataBrew permite definir reglas personalizadas para identificar patrones específicos, como categorías de PII no estándar. Esto se integra directamente en el flujo de trabajo de DataBrew, minimizando la sobrecarga operativa al no requerir herramientas o scripts externos. Revisar manualmente los conjuntos de datos es ineficiente y propenso a errores para grandes volúmenes de datos. Escribir scripts de Python personalizados aumenta la sobrecarga operativa al requerir mantenimiento de código fuera de DataBrew. Utilizar expresiones regulares durante el proceso ETL es una opción viable, pero DataBrew ofrece una solución más integrada y de bajo código para la detección de PII, especialmente cuando las reglas se aplican repetidamente a múltiples conjuntos de datos dentro de la plataforma.