Поток доставки Kinesis Data Firehose получает записи клиентов, которые включают персонально идентифицируемую информацию. Разработчик должен удалить шаблоны идентификаторов клиентов перед сохранением данных в бакет S3. Какой способ является наиболее подходящим для выполнения этого требования?

Правильный ответ — использовать преобразование данных Firehose с функцией AWS Lambda. Kinesis Data Firehose имеет встроенную функцию преобразования данных, которая позволяет вызывать функцию Lambda для обработки записей перед их доставкой в пункт назначения. Это идеальное решение для удаления конфиденциальной информации, такой как персонально идентифицируемая информация (PII), поскольку Lambda может выполнять произвольную логику для очистки или маскировки данных. После преобразования Firehose автоматически доставит очищенные данные в указанный бакет S3. Запуск инстанса EC2 для обработки данных является избыточным и менее управляемым, чем Lambda, а также добавляет накладные расходы на обслуживание. Создание кластера Amazon OpenSearch Service не предназначено для такого рода преобразований данных и является чрезмерным решением для простой очистки PII. Использование AWS Step Functions в качестве назначения потока доставки Kinesis Data Firehose невозможно напрямую; Step Functions предназначены для оркестровки рабочих процессов, а не для прямой обработки потоковых данных из Firehose.