Uma empresa armazena conjuntos de dados no S3 que incluem PII para e-commerce. Um aplicativo de análise interno não precisa de PII e a empresa deve evitar o compartilhamento desnecessário de PII. O engenheiro de dados deve implementar a redação dinâmica por aplicativo com sobrecarga operacional mínima. Qual solução o engenheiro deve escolher?

A opção correta é usar um endpoint S3 Object Lambda. O S3 Object Lambda permite processar dados conforme eles são recuperados do S3, sem alterar o objeto original. Você pode implementar uma função Lambda para redigir dinamicamente as informações de PII com base no contexto da solicitação (por exemplo, o aplicativo que está acessando os dados), garantindo que cada aplicativo receba apenas os dados necessários, com sobrecarga operacional mínima. A criação de múltiplas cópias do conjunto de dados (opções A e C) aumenta a complexidade de gerenciamento, o custo de armazenamento e a chance de inconsistências, além de exigir a manutenção de várias versões dos dados. Usar o AWS Glue para transformar os dados para cada aplicativo (opção C) é uma solução de processamento em lote e não de redação dinâmica sob demanda. Um endpoint do API Gateway (opção D) adicionaria uma camada desnecessária de complexidade e latência para acesso a dados armazenados no S3, além de não ser a ferramenta mais eficiente para manipulação de objetos S3.