Une entreprise reçoit quotidiennement des fichiers CSV dans S3 contenant des données d'interaction client utilisées pour réentraîner un modèle. Avant le réentraînement, les numéros de carte de crédit dans ces fichiers doivent être masqués. Quelle solution permet d'y parvenir avec le moins d'effort de développement ?

La bonne réponse est de créer du code Apache Spark à exécuter sur une tâche AWS Glue, en utilisant la fonctionnalité de détection des données sensibles d'AWS Glue. AWS Glue DataBrew est un service de préparation de données visuel qui inclut des transformations intégrées pour détecter et masquer les informations personnelles identifiables (PII) et d'autres données sensibles, ce qui réduit considérablement l'effort de développement par rapport à l'écriture de code personnalisé. L'exécution de cette logique dans une tâche AWS Glue permet une intégration facile avec S3 et une exécution sans serveur et scalable. Les autres options sont moins efficaces : Amazon Macie est principalement un service de découverte et de classification des données sensibles, et non un outil de transformation ou de masquage direct des données pour le réentraînement. Écrire du code Apache Spark personnalisé avec des expressions régulières pour le masquage est possible, mais cela nécessite plus d'effort de développement et de maintenance que d'utiliser les fonctionnalités intégrées d'AWS Glue DataBrew. L'exécution de code Apache Spark sur une instance Amazon EC2 introduit une surcharge de gestion de l'infrastructure qui est évitée avec AWS Glue, un service sans serveur.