데이터 엔지니어는 AWS 서비스를 사용하여 데이터 세트를 Amazon S3 데이터 레이크에 로드해야 합니다. 데이터를 프로파일링한 후 엔지니어는 개인 식별 정보(PII)를 발견합니다. 엔지니어는 데이터 세트를 프로파일링하고 PII를 난독화해야 합니다. 최소한의 운영 노력으로 이 요구 사항을 충족하는 접근 방식은 무엇입니까?

정답은 AWS Glue Studio의 Detect PII 변환을 사용하여 PII를 식별하고 난독화한 다음 AWS Step Functions를 사용하여 S3 데이터 레이크로 데이터를 수집하는 파이프라인을 오케스트레이션하는 것입니다. AWS Glue Studio의 Detect PII 변환은 PII를 식별하고 난독화하는 관리형 솔루션을 제공하여 운영 노력을 최소화합니다. Step Functions는 데이터 수집 파이프라인의 오케스트레이션을 효율적으로 처리합니다. Kinesis Data Firehose와 Lambda를 사용하는 첫 번째 옵션은 가능하지만, PII 감지 및 난독화를 위한 사용자 지정 Lambda 함수 개발은 더 많은 운영 오버헤드를 발생시킵니다. AWS Glue Data Quality는 데이터 품질 규칙을 평가하는 데 사용되지만 PII 난독화를 직접 수행하지는 않으므로 세 번째 옵션은 부정확합니다. DynamoDB는 트랜잭션 데이터베이스이며 데이터 레이크 수집을 위한 기본 도구가 아니므로 네 번째 옵션은 비효율적입니다.