Amazon Kinesis Data Firehose 전송 스트림이 개인 식별 정보(PII)를 포함하는 레코드를 수신합니다. 데이터는 Amazon S3에 저장되기 전에 패턴 기반 고객 식별자가 제거되어야 합니다. 이 변환을 구현하는 가장 좋은 방법은 무엇입니까?

Kinesis Data Firehose는 수신 데이터를 대상으로 전송하기 전에 AWS Lambda 함수를 사용하여 데이터를 변환하는 기능을 기본적으로 제공합니다. 이 방법은 PII와 같은 민감한 정보를 제거하거나 데이터를 정규화하는 데 효율적이고 확장 가능합니다. Lambda 함수는 Firehose 스트림의 일부로 구성되므로 별도의 인프라를 관리할 필요 없이 데이터가 S3에 저장되기 전에 변환이 자동으로 적용됩니다. EC2 인스턴스를 사용하는 것은 불필요한 인프라 관리 및 비용을 발생시키며, 확장성 측면에서도 Firehose의 내장 변환 기능보다 비효율적입니다. Amazon OpenSearch Service는 검색 및 분석에 특화된 서비스로, 데이터 변환을 위한 주된 목적이 아니며, S3로 다시 내보내는 과정이 복잡합니다. AWS Step Functions는 복잡한 워크플로 오케스트레이션에 적합하지만, Firehose의 간단한 데이터 변환 요구사항에는 과도한 솔루션이며, Firehose의 직접적인 대상으로 설정하기 어렵습니다.