Een bedrijf ontvangt dagelijks CSV-bestanden in S3 die klantinteractiegegevens bevatten die worden gebruikt om een model opnieuw te trainen. Voordat de hertraining plaatsvindt, moeten creditcardnummers in die bestanden worden gemaskeerd. Welke oplossing bereikt dit met de minste ontwikkelingsinspanning?

De correcte optie is het maken van Apache Spark-code die wordt uitgevoerd op een AWS Glue-job en gebruikmaakt van de Sensitive Data Detection-functionaliteit van AWS Glue. Dit is de meest efficiënte oplossing omdat AWS Glue's Sensitive Data Detection ingebouwde transformaties biedt voor het identificeren en maskeren van gevoelige gegevens, zoals creditcardnummers, met minimale ontwikkelingsinspanning. Het vermijdt de noodzaak om complexe reguliere expressies handmatig te programmeren of een EC2-instantie te beheren. De andere opties zijn minder optimaal: Amazon Macie is primair een beveiligingsservice voor het ontdekken van gevoelige gegevens en biedt geen directe maskering als onderdeel van een geautomatiseerde ETL-pipeline voor hertraining. Het handmatig programmeren van regex in een AWS Glue-job is mogelijk, maar vereist meer ontwikkelingsinspanning en is foutgevoeliger dan het gebruik van de ingebouwde functionaliteit. Het uitvoeren van Apache Spark-code op een Amazon EC2-instantie introduceert extra operationele overhead voor het beheer van de EC2-instantie, wat AWS Glue als serverloze service vermijdt.