ML 엔지니어는 페타바이트 규모의 비정형 데이터에서 PII를 검색하고 제거한 다음, 정리된 데이터를 사용하여 SageMaker 모델을 훈련하는 파이프라인을 구축해야 합니다. 이 요구 사항을 대규모로 충족하는 솔루션은 무엇입니까?

정답은 AWS Glue 대화형 세션에서 Apache Spark 기반 서버리스 엔진을 사용하고 Detect PII 변환을 적용하여 PII를 찾아 제거하는 것입니다. AWS Glue는 페타바이트 규모의 비정형 데이터를 처리하고 PII를 감지 및 제거하는 데 적합한 서버리스 ETL 서비스입니다. 특히 Glue의 Detect PII 변환은 PII를 식별하고 마스킹하는 기능을 제공하며, 대화형 세션을 통해 개발 및 테스트가 용이합니다. 오답 설명: Amazon SageMaker Canvas 내에서 AWS Glue Data Wrangler를 사용하여 PII를 감지하고 제거하는 것은 대규모 비정형 데이터 처리에 적합하지 않습니다. Data Wrangler는 데이터 준비 도구이지만, 페타바이트 규모의 비정형 데이터에서 PII를 효율적으로 감지하고 제거하는 데는 Glue의 Detect PII 변환이 더 강력합니다. Amazon SageMaker Clarify API를 호출하여 데이터에서 PII를 감지하고 마스킹하는 것은 주로 모델 편향 및 설명 가능성 분석에 중점을 둡니다. 대규모 비정형 데이터에서 PII를 추출하고 제거하는 주된 목적에는 적합하지 않습니다. Amazon Comprehend의 DetectEntities API 작업을 사용하여 데이터에서 PII를 찾아 제거하는 것은 텍스트 기반 데이터에 특화되어 있으며, 페타바이트 규모의 다양한 비정형 데이터 처리에는 확장성 및 비용 효율성 측면에서 AWS Glue가 더 적합합니다.