Ein Unternehmen erhält täglich CSV-Dateien in S3, die Kundendaten enthalten, die zum erneuten Trainieren eines Modells verwendet werden. Vor dem erneuten Training müssen Kreditkartennummern in diesen Dateien maskiert werden. Welche Lösung erreicht dies mit dem geringsten Entwicklungsaufwand?

Die richtige Antwort ist, Apache Spark-Code auf einem AWS Glue-Job auszuführen und die Sensitive Data Detection-Funktionalität von AWS Glue zu nutzen. AWS Glue bietet integrierte Funktionen zur Erkennung und Maskierung sensibler Daten, einschließlich Kreditkartennummern, was den Entwicklungsaufwand erheblich reduziert. Diese Funktion ist speziell für solche Anwendungsfälle konzipiert und erfordert weniger benutzerdefinierten Code als eine Regex-Implementierung. Das Erstellen eines Discovery-Jobs in Amazon Macie ist nicht die beste Lösung, da Macie primär zur Erkennung und Berichterstattung über sensible Daten dient, nicht zur direkten Maskierung und Transformation von Daten für nachfolgende ML-Workflows in einem automatisierten ETL-Prozess. Das Programmieren eines Regex-Vorgangs in Apache Spark auf einem AWS Glue-Job ist zwar technisch möglich, erfordert aber einen höheren Entwicklungsaufwand und ist fehleranfälliger als die Nutzung der integrierten Sensitive Data Detection-Funktion von AWS Glue, die bereits optimiert ist. Das Ausführen von Apache Spark-Code auf einer Amazon EC2-Instanz ist weniger effizient und wartungsintensiver als die Verwendung von AWS Glue, einem vollständig verwalteten ETL-Service, der für die Verarbeitung großer Datenmengen optimiert ist und sich nahtlos in S3 integriert.