Partner przesyła niezaszyfrowane dane kart kredytowych (około 5000 rekordów co 15 minut) do zaszyfrowanego po stronie serwera bucketu S3. Firma musi automatycznie maskować numery PAN, usuwać/scalać pola i przekształcać rekordy do formatu JSON, a następnie wysyłać wyniki do innego bucketu S3 w celu wewnętrznego przetwarzania. Projekt powinien być łatwo rozszerzalny o dodatkowe źródła danych. Które rozwiązanie spełnia te wymagania?

Poprawna odpowiedź wykorzystuje AWS Glue, które jest usługą ETL bezserwerową, idealną do tego scenariusza. Crawler AWS Glue automatycznie wykrywa schemat danych, a niestandardowy klasyfikator pozwala na obsługę specyficznego formatu danych partnera. Zadanie AWS Glue ETL (uruchamiane przez Lambda po nadejściu obiektu) może efektywnie maskować numery PAN, zmieniać pola i przekształcać dane do formatu JSON, a następnie zapisywać je w docelowym buckecie S3. Jest to rozwiązanie skalowalne i łatwo rozszerzalne o nowe źródła danych. Pierwsza opcja z wieloma funkcjami Lambda i SQS jest zbyt złożona i mniej efektywna dla przetwarzania wsadowego. Druga opcja z Fargate wprowadza niepotrzebne zarządzanie kontenerami i skalowanie, podczas gdy Glue jest usługą w pełni zarządzaną. Czwarta opcja z Amazon EMR jest zbyt kosztowna i złożona dla tego typu zadania, szczególnie biorąc pod uwagę częstotliwość i objętość danych.