Uma empresa recebe diariamente arquivos CSV no S3 que contêm dados de interação do cliente usados para retreinar um modelo. Antes do retreinamento, os números de cartão de crédito nesses arquivos devem ser mascarados. Qual solução realiza isso com o menor esforço de desenvolvimento?

A opção correta é usar um trabalho do AWS Glue com a funcionalidade de detecção de dados confidenciais. O AWS Glue Data Quality (Glue DQ) oferece recursos integrados para identificar e mascarar dados sensíveis, como números de cartão de crédito, com pouco esforço de desenvolvimento. Isso se integra nativamente ao fluxo de processamento de dados do Glue, tornando-o eficiente para dados no S3. A criação de um trabalho de descoberta no Amazon Macie é para descoberta e classificação de dados sensíveis, não para mascaramento automatizado como parte de um pipeline de processamento. Usar Apache Spark com regex em um trabalho do AWS Glue exigiria mais esforço de desenvolvimento para criar e manter as expressões regulares, que podem ser complexas e menos robustas que as funcionalidades dedicadas do Glue DQ. Executar código Spark em uma instância EC2 adicionaria a sobrecarga de gerenciar a infraestrutura, o que não é a solução de menor esforço.