Amazon Kinesis Data Firehose の配信ストリームは、個人を特定できる情報を含むレコードを受信します。データは、Amazon S3 に保存する前に、パターンベースの顧客識別子を削除する必要があります。この変換を実装する最善の方法は何ですか？

Kinesis Data Firehoseは、データ変換のためにAWS Lambda関数を直接呼び出す機能をサポートしています。これにより、S3に保存する前に、ストリーミングデータに対してパターンベースの顧客識別子削除のようなカスタム処理を効率的に適用できます。EC2インスタンスを使用する方法は、管理オーバーヘッドが大きく、Firehoseの統合も直接的ではありません。Amazon OpenSearch Serviceは検索と分析に特化しており、この種のデータ変換には不向きです。AWS Step Functionsは複雑なワークフローに適していますが、Firehoseの直接的なデータ変換にはLambda関数が最もシンプルでコスト効率の良い選択肢です。