Поток доставки Amazon Kinesis Data Firehose получает записи, содержащие персональные данные. Перед сохранением в Amazon S3 из данных необходимо удалить идентификаторы клиентов на основе шаблонов. Какой способ реализации этого преобразования является наилучшим?

Правильный ответ — настройка преобразования данных Firehose с помощью функции AWS Lambda. Kinesis Data Firehose имеет встроенную функцию преобразования данных, которая позволяет вызывать функцию Lambda для обработки записей перед их доставкой в пункт назначения. Это идеальное решение для удаления конфиденциальных данных, таких как идентификаторы клиентов, поскольку Lambda может выполнять пользовательскую логику для фильтрации или маскирования данных. Другие варианты менее эффективны: Запуск инстанса EC2 в качестве назначения Firehose добавляет ненужную сложность и затраты на управление инфраструктурой. Использование домена Amazon OpenSearch Service не предназначено для преобразования данных в потоке и добавит лишний шаг и стоимость. AWS Step Functions не может быть напрямую установлен в качестве назначения Firehose; это оркестрационный сервис, который не подходит для потоковой обработки данных в реальном времени.