Strumień dostarczania Amazon Kinesis Data Firehose odbiera rekordy zawierające dane osobowe. Dane muszą mieć usunięte identyfikatory klientów oparte na wzorcach, zanim zostaną zapisane w Amazon S3. Jaki jest najlepszy sposób na zaimplementowanie tej transformacji?

Poprawna odpowiedź to skonfigurowanie transformacji danych Firehose za pomocą funkcji AWS Lambda. Kinesis Data Firehose natywnie integruje się z AWS Lambda, umożliwiając przetwarzanie strumieniowe danych przed ich dostarczeniem do miejsca docelowego. Funkcja Lambda może być użyta do usunięcia identyfikatorów klientów opartych na wzorcach, co jest efektywnym i skalowalnym rozwiązaniem dla tego typu transformacji. Po przetworzeniu danych przez Lambda, Firehose dostarczy je do docelowego zasobnika S3. Uruchomienie instancji EC2 jako miejsca docelowego jest zbyt złożone i kosztowne, a także wymaga zarządzania infrastrukturą. Użycie Amazon OpenSearch Service do wyszukiwania i zamiany jest nieefektywne i nieprzeznaczone do tego celu, a eksportowanie danych z OpenSearch do S3 dodaje niepotrzebną warstwę złożoności. Utworzenie przepływu pracy AWS Step Functions jest również zbyt skomplikowane i nie jest natywnym sposobem transformacji danych w Kinesis Data Firehose.