Ein Partner sendet Klartext-Kreditkartendaten (etwa 5.000 Datensätze alle 15 Minuten) in einen S3-Bucket (serverseitig verschlüsselt). Das Unternehmen muss PANs automatisch maskieren, Felder entfernen/zusammenführen und Datensätze in JSON umwandeln, dann die Ergebnisse zur internen Verarbeitung an einen anderen S3-Bucket senden. Das Design sollte für zusätzliche Feeds leicht erweiterbar sein. Welche Lösung erfüllt diese Anforderungen?

Die korrekte Antwort ist die Verwendung von AWS Glue. AWS Glue ist ein vollständig verwalteter ETL-Dienst (Extrahieren, Transformieren, Laden), der ideal für die Verarbeitung großer Datenmengen ist. Ein AWS Glue Crawler kann das Datenformat automatisch erkennen und ein Schema erstellen, was die Erweiterbarkeit für zusätzliche Feeds erleichtert. Ein benutzerdefinierter Klassifikator ist notwendig, da die Daten Klartext-Kreditkartendaten sind und ein spezifisches Format haben könnten. Ein AWS Glue ETL-Job kann dann die Maskierung, Feldänderungen und die Umwandlung in JSON effizient durchführen und die Ergebnisse in den Ziel-S3-Bucket schreiben. Eine Lambda-Funktion kann diesen Glue Job bei jedem neuen Objekt im S3-Bucket auslösen. Die anderen Optionen sind weniger geeignet: Die erste Option mit mehreren Lambda-Funktionen und SQS ist zu komplex und ineffizient für die Verarbeitung von 5.000 Datensätzen alle 15 Minuten, da Lambda-Funktionen für kurzlebige, ereignisgesteuerte Aufgaben besser geeignet sind. Die zweite Option mit Fargate und SQS ist ebenfalls zu komplex für die gegebene Aufgabe und würde mehr Overhead für die Verwaltung des Containers verursachen. Die vierte Option mit Athena und EMR ist überdimensioniert und teurer für diese spezifische Aufgabe. EMR ist für sehr große, komplexe Big-Data-Workloads gedacht, nicht für eine relativ einfache ETL-Pipeline.