Компания ежеквартально анализирует данные в озере данных для проведения инвентаризации. Инженер данных использует AWS Glue DataBrew для поиска любой персонально идентифицируемой информации (PII) о клиентах в данных. Правила конфиденциальности компании включают некоторые пользовательские категории PII, которые не являются частью встроенных правил качества данных DataBrew. Инженер должен обновить процесс для сканирования этих пользовательских категорий PII по многим наборам данных в озере данных. Какой подход соответствует требованию с наименьшими операционными издержками?

Создание пользовательских правил качества данных в DataBrew — это наиболее эффективный способ решения этой задачи. DataBrew позволяет определять собственные правила для обнаружения специфических шаблонов данных, включая пользовательские категории PII. После определения эти правила можно легко применить к множеству наборов данных без необходимости написания или поддержки дополнительного кода, что минимизирует операционные издержки. Ручной просмотр наборов данных не масштабируется и подвержен ошибкам. Написание пользовательских скриптов Python увеличивает сложность и операционные расходы на их поддержку и интеграцию. Использование регулярных выражений во время ETL может быть эффективным для некоторых случаев, но не обеспечивает централизованного управления и повторного использования правил, как это делает DataBrew, и может усложнить конвейер ETL.