Ein Amazon Kinesis Data Firehose-Bereitstellungsstream empfängt Datensätze, die personenbezogene Daten enthalten. Die Daten müssen vor der Speicherung in Amazon S3 von musterbasierenden Kundenidentifikatoren bereinigt werden. Welches ist der beste Weg, diese Transformation zu implementieren?

Die Konfiguration der Firehose-Datentransformation mit einer AWS Lambda-Funktion ist die beste Methode. Kinesis Data Firehose bietet eine integrierte Funktion zur Datenvorverarbeitung, bei der eine Lambda-Funktion aufgerufen wird, um Datensätze zu transformieren, bevor sie an das Ziel gesendet werden. Dies ermöglicht eine effiziente und serverlose Entfernung von personenbezogenen Daten (PII) direkt im Streaming-Prozess, bevor die Daten in S3 gespeichert werden. Die Option mit einer EC2-Instanz ist weniger effizient und skaliert schlechter, da sie eine manuelle Verwaltung der Infrastruktur erfordert. Die Verwendung von Amazon OpenSearch Service ist für Such- und Analyseaufgaben optimiert, nicht für die Transformation von Streaming-Daten vor der Speicherung in S3. Ein AWS Step Functions-Workflow ist für die Orchestrierung komplexer Workflows gedacht und wäre für diese einfache Transformation überdimensioniert und umständlicher als eine direkte Lambda-Integration.