Un partenaire envoie des données de carte de crédit en texte clair (environ 5 000 enregistrements toutes les 15 minutes) dans un compartiment S3 (chiffré côté serveur). L'entreprise doit automatiquement masquer les PAN, supprimer/fusionner des champs et transformer les enregistrements en JSON, puis envoyer les résultats à un autre compartiment S3 pour traitement interne. La conception doit être facilement extensible pour des flux supplémentaires. Quelle solution répond à ces exigences ?

La bonne réponse est de créer un crawler AWS Glue avec un classifieur personnalisé et une définition de table, puis d'invoquer une fonction Lambda pour démarrer un job AWS Glue ETL. AWS Glue est un service ETL sans serveur, idéal pour la transformation de données à grande échelle. Le classifieur personnalisé permet de reconnaître le format des données entrantes, même en texte clair. Le job ETL peut effectuer le masquage des PAN, la manipulation des champs et la conversion en JSON de manière scalable et gérée. Lambda sert de déclencheur efficace à l'arrivée de l'objet S3. Les autres options sont moins optimales. Utiliser SQS avec plusieurs fonctions Lambda (option 1) introduit une complexité inutile et une latence potentielle pour la coordination des étapes. Fargate (option 2) est une solution de conteneurisation, mais AWS Glue est plus adapté et plus simple pour les tâches ETL. Enfin, l'utilisation d'Amazon EMR (option 4) est surdimensionnée et plus coûteuse pour ce cas d'utilisation, car Glue offre une solution sans serveur plus efficace.