Компания хранит наборы данных в S3, которые включают PII для электронной коммерции. Внутреннему аналитическому приложению не требуется PII, и компания должна избегать ненужного совместного использования PII. Инженер данных должен реализовать динамическое сокрытие данных (redaction) для каждого приложения с минимальными операционными издержками. Какое решение должен выбрать инженер?

Правильный ответ — создание конечной точки S3 Object Lambda. S3 Object Lambda позволяет обрабатывать данные S3 по мере их извлечения, что идеально подходит для динамического сокрытия конфиденциальной информации (PII) без изменения исходных объектов. Вы можете реализовать логику сокрытия данных в функции Lambda, которая будет выполняться при каждом запросе к объекту через конечную точку S3 Object Lambda, адаптируя вывод под конкретные потребности каждого приложения. Это минимизирует операционные издержки, поскольку не требует создания и управления несколькими копиями данных. Остальные варианты менее эффективны: Создание нескольких копий набора данных с разным уровнем сокрытия увеличивает затраты на хранение и усложняет управление данными. Использование AWS Glue для преобразования данных для каждого приложения также требует создания нескольких копий данных и не является динамическим решением для каждого запроса. Использование API Gateway с настраиваемыми авторизаторами для чтения данных из S3 добавляет ненужный уровень сложности и потенциально увеличивает задержку, так как API Gateway не предназначен для прямого проксирования больших объемов данных из S3 с динамической трансформацией.