Розничный продавец собирает записи о покупках из 20 000 магазинов и отправляет их в Amazon S3 с помощью Amazon Kinesis Data Firehose. В каждом магазине работает небольшое серверное приложение, которое передает данные через интернет. Данные используются для ежедневного переобучения модели машинного обучения. Команда по обработке данных выявила существующие поля, которые должны быть объединены в новые атрибуты перед обучением. Какое изменение позволит получить преобразованные записи с наименьшими операционными издержками?

Правильный ответ — создание функции AWS Lambda, которая выполняет преобразование записей, и включение преобразования данных в потоке доставки Kinesis Data Firehose. Kinesis Data Firehose имеет встроенную функцию преобразования данных, которая позволяет вызывать функцию Lambda для обработки записей перед их доставкой в S3. Это решение является наиболее операционно эффективным, поскольку оно использует управляемый сервис и не требует управления серверами. Запуск кластера Amazon EMR с Apache Spark или выделение парка инстансов Amazon EC2 для преобразования данных влечет за собой значительные операционные издержки, связанные с управлением инфраструктурой, масштабированием и мониторингом. Развертывание Amazon S3 File Gateway в каждом магазине усложняет архитектуру и увеличивает затраты на управление локальной инфраструктурой.