Um parceiro envia dados de cartão de crédito em texto simples (cerca de 5.000 registros a cada 15 minutos) para um bucket S3 (criptografado no lado do servidor). A empresa deve mascarar automaticamente os PANs, remover/mesclar campos e transformar os registros em JSON, e então enviar os resultados para outro bucket S3 para processamento interno. O design deve ser facilmente extensível para feeds adicionais. Qual solução satisfaz esses requisitos?

A solução correta utiliza AWS Glue para processamento de dados em larga escala e transformação. Um crawler do AWS Glue com um classificador personalizado pode inferir o esquema de dados de cartão de crédito em texto simples e criar uma definição de tabela no AWS Glue Data Catalog. Uma função Lambda pode ser acionada na chegada do objeto S3 para iniciar um trabalho ETL do AWS Glue. Este trabalho pode então realizar o mascaramento de PANs, remover/mesclar campos e transformar os registros em JSON, gravando os resultados no bucket S3 de destino. Essa abordagem é escalável, sem servidor e facilmente extensível para feeds adicionais, pois novos feeds podem aproveitar o mesmo pipeline ETL com ajustes mínimos. As outras opções são menos eficientes ou mais complexas. A opção com duas funções Lambda e SQS introduz latência e complexidade desnecessárias para o processamento em lote. A opção com Fargate e SQS é viável, mas o AWS Glue é mais otimizado para transformações ETL de dados. A opção com Amazon EMR é excessiva e mais cara para este caso de uso, que não exige a complexidade e o gerenciamento de um cluster EMR.