Un flux de diffusion Amazon Kinesis Data Firehose reçoit des enregistrements contenant des informations personnellement identifiables. Les identifiants client basés sur des motifs doivent être supprimés des données avant qu'elles ne soient stockées dans Amazon S3. Quelle est la meilleure façon d'implémenter cette transformation ?

La bonne réponse est de configurer la transformation de données Firehose à l'aide d'une fonction AWS Lambda. Kinesis Data Firehose s'intègre nativement avec AWS Lambda pour la transformation des données. Cela permet de nettoyer, d'enrichir ou de filtrer les enregistrements avant qu'ils ne soient livrés à la destination finale, comme Amazon S3. Une fonction Lambda peut être facilement écrite pour identifier et supprimer les identifiants client basés sur des motifs. Lancer une instance EC2 est moins efficace et plus complexe à gérer, car cela introduit des coûts d'infrastructure et des frais de maintenance supplémentaires. Utiliser Amazon OpenSearch Service n'est pas la méthode la plus directe pour la transformation de données en transit et est plus adapté à l'analyse et à la recherche. Créer un workflow AWS Step Functions n'est pas une destination directe pour Kinesis Data Firehose et introduirait une latence et une complexité inutiles pour une simple transformation de données.