Um stream de entrega do Amazon Kinesis Data Firehose recebe registros contendo informações de identificação pessoal. Os dados devem ter os identificadores de cliente baseados em padrões removidos antes de serem armazenados no Amazon S3. Qual é a melhor maneira de implementar essa transformação?

A opção correta é configurar a transformação de dados do Firehose usando uma função AWS Lambda. O Kinesis Data Firehose possui um recurso nativo de transformação de dados que permite invocar uma função Lambda para processar os registros antes de entregá-los ao destino. Isso é ideal para remover PII (Informações de Identificação Pessoal) ou realizar outras transformações. O Amazon S3 é o destino final mais comum e eficiente para dados processados. As outras opções são menos eficientes ou inadequadas: Iniciar uma instância EC2 como destino é complexo, caro e não escalável para este propósito, além de não ser um destino direto do Firehose. Usar o Amazon OpenSearch Service para localizar e substituir não é o propósito principal do OpenSearch e adiciona complexidade desnecessária para uma simples transformação antes do armazenamento final no S3. Criar um fluxo de trabalho do AWS Step Functions como destino do Firehose não é uma integração direta ou padrão para transformação de dados em tempo real do Firehose.