Een Kinesis Data Firehose delivery stream ontvangt klantrecords die persoonlijk identificeerbare informatie bevatten. De ontwikkelaar moet patronen van klantidentificatie verwijderen voordat de gegevens worden opgeslagen in een S3-bucket. Wat is de juiste manier om aan deze vereiste te voldoen?

De juiste methode is het gebruik van een Firehose-datatransformatie met een AWS Lambda-functie. Kinesis Data Firehose ondersteunt ingebouwde datatransformaties via Lambda, waardoor u gegevens kunt opschonen, verrijken of anonimiseren voordat ze naar de bestemming worden geschreven. Dit is een efficiënte en schaalbare manier om PII te verwijderen. De andere opties zijn minder geschikt: Een EC2-instantie als bestemming is onnodig complex en duur voor deze taak, en introduceert extra beheeroverhead. Amazon OpenSearch Service is bedoeld voor zoeken en analyseren, niet primair voor datatransformatie en opslag in S3 als einddoel. Het is een omweg en inefficiënt. AWS Step Functions is een workflow-orchestratieservice en kan niet direct als bestemming voor een Firehose-delivery stream dienen. Hoewel het transformaties kan uitvoeren, is het niet de directe integratiemethode voor Firehose-datatransformatie.