Партнер отправляет данные кредитных карт в виде обычного текста (около 5000 записей каждые 15 минут) в бакет S3 (с шифрованием на стороне сервера). Компания должна автоматически маскировать PAN, удалять/объединять поля и преобразовывать записи в JSON, а затем отправлять результаты в другой бакет S3 для внутренней обработки. Решение должно быть легко расширяемым для дополнительных потоков данных. Какое решение удовлетворяет этим требованиям?

Правильный ответ — использование AWS Glue. AWS Glue — это бессерверный сервис ETL, который идеально подходит для преобразования данных в больших объемах. Он может автоматически обнаруживать схему данных (с помощью crawler и пользовательского классификатора для нестандартных форматов), выполнять маскирование, удаление/объединение полей и преобразование в JSON с помощью заданий ETL. Запуск задания Glue ETL по событию S3 через Lambda обеспечивает автоматизацию. Это решение легко масштабируется и расширяется для новых потоков данных. Другие варианты менее оптимальны: Использование нескольких функций Lambda и SQS для каждого шага обработки усложняет архитектуру и увеличивает накладные расходы на управление состоянием и координацию. Fargate с SQS может быть решением, но AWS Glue специально разработан для задач ETL и предлагает более интегрированный и управляемый подход для данного сценария. Amazon EMR — мощный инструмент, но он является кластерным решением, которое требует управления кластером и масштабирования, что делает его менее "бессерверным" и более сложным по сравнению с AWS Glue для данного случая использования.