한 회사에서 전자상거래용 PII를 포함하는 데이터 세트를 S3에 저장합니다. 내부 분석 앱에는 PII가 필요하지 않으며, 회사는 PII의 불필요한 공유를 피해야 합니다. 데이터 엔지니어는 운영 오버헤드를 최소화하면서 애플리케이션별 동적 수정(redaction)을 구현해야 합니다. 엔지니어는 어떤 솔루션을 선택해야 할까요?

정답은 S3 Object Lambda 엔드포인트를 생성하고 이를 통해 데이터를 읽으며, S3 Object Lambda 함수 내에 수정 로직을 구현하여 PII를 동적으로 수정하는 것입니다. S3 Object Lambda는 S3에서 데이터를 검색할 때 사용자 지정 코드를 사용하여 데이터를 변환할 수 있도록 합니다. 이는 원본 데이터 세트의 여러 복사본을 만들 필요 없이 애플리케이션별로 PII를 동적으로 수정하여 운영 오버헤드를 최소화하고 데이터 중복을 방지하는 가장 효율적인 방법입니다. 다른 옵션들은 다음과 같은 이유로 적절하지 않습니다. S3 버킷 정책으로 여러 데이터 복사본을 생성하는 것은 데이터 중복을 야기하고 운영 오버헤드를 증가시킵니다. AWS Glue로 여러 데이터 복사본을 생성하는 것 역시 데이터 중복과 운영 오버헤드를 증가시킵니다. API Gateway는 REST API 호출을 통해 데이터를 수정하지만, S3 Object Lambda가 S3 데이터 액세스 계층에서 직접 변환을 수행하므로 더 직접적이고 효율적인 솔루션입니다.