Een Amazon Kinesis Data Firehose delivery stream ontvangt records die persoonlijk identificeerbare informatie bevatten. De gegevens moeten, voordat ze in Amazon S3 worden opgeslagen, worden ontdaan van patroon-gebaseerde klantidentificatiegegevens. Wat is de beste manier om deze transformatie te implementeren?

De meest efficiënte en schaalbare methode is het configureren van een AWS Lambda-functie voor datatransformatie binnen Kinesis Data Firehose. Firehose kan direct een Lambda-functie aanroepen om inkomende records te verwerken voordat ze naar de bestemming worden gestuurd. De Lambda-functie kan de patroon-gebaseerde klantidentificatiegegevens verwijderen en de opgeschoonde gegevens terugsturen naar Firehose, die ze vervolgens opslaat in de S3-bucket. Dit is een ingebouwde functionaliteit van Firehose, wat zorgt voor een naadloze integratie en beheerde schaalbaarheid. Het starten van een EC2-instantie als Firehose-bestemming voegt onnodige complexiteit en beheerkosten toe, en is minder schaalbaar dan Lambda. Een Amazon OpenSearch Service-domein is bedoeld voor zoek- en analysefunctionaliteit, niet voor het transformeren van streaminggegevens voordat ze worden opgeslagen in S3. Een AWS Step Functions-workflow is te complex voor deze specifieke transformatietaak en kan niet direct als Firehose-bestemming worden geconfigureerd voor dit type transformatie.