Инженер данных должен загрузить набор данных в озеро данных Amazon S3 с использованием сервисов AWS. После профилирования данных инженер обнаруживает персонально идентифицируемую информацию (PII). Инженеру необходимо как профилировать набор данных, так и обфусцировать PII. Какой подход удовлетворит это требование с НАИМЕНЬШИМИ операционными усилиями?

Правильный ответ минимизирует операционные усилия, используя встроенные возможности AWS Glue Studio для обнаружения PII. AWS Glue Studio предлагает преобразование "Detect PII", которое автоматически идентифицирует PII, а также возможности для обфускации этих данных. AWS Step Functions эффективно оркестрирует весь процесс приема данных в озеро данных S3, обеспечивая управляемый и масштабируемый рабочий процесс. Остальные варианты менее оптимальны: Использование Kinesis Data Firehose с Lambda для идентификации и обфускации PII требует большего объема пользовательского кода и управления, увеличивая операционные усилия. Использование AWS Glue Data Quality для обфускации PII не является его основной функцией; Data Quality больше сосредоточен на проверке качества, а не на преобразовании данных. Прием данных в DynamoDB перед S3 добавляет ненужный промежуточный шаг и увеличивает сложность архитектуры, а также операционные расходы.