Поставщик решений безопасности получает телеметрию каждые 30 секунд с тысяч глобальных конечных точек. Записи имеют размер около 1 КБ и содержат 50 полей. Данные поступают в Kinesis Data Streams, и необходимо создавать ежечасные сводки для запросов Athena, которые будут считывать 7–12 полей. Какой подход требует наименьшей настройки для преобразования и хранения полученных данных?

Kinesis Data Analytics (KDA) для Apache Flink идеально подходит для потоковой обработки данных, позволяя выполнять агрегацию и преобразования в реальном времени или с минимальной задержкой. Он может напрямую получать данные из Kinesis Data Streams, выполнять ежечасную агрегацию и отправлять преобразованные сводки в Kinesis Data Firehose, который затем доставит их в S3. Это решение требует минимальной настройки, так как KDA является полностью управляемым сервисом. Использование AWS Lambda для ежечасного чтения и агрегирования данных из Kinesis Data Streams менее эффективно для больших объемов потоковых данных и может быть сложнее в управлении. Kinesis Data Firehose не предназначен для выполнения сложной агрегации и преобразований самостоятельно; он в основном используется для доставки данных. Запуск кратковременного кластера Amazon EMR для ежечасной агрегации является избыточным и более сложным для такой задачи.