Инженер по данным должен принимать потоковые данные в реальном времени и выполнять аналитику на основе времени с окнами до 30 минут. Решение должно быть высокоотказоустойчивым и требовать минимальных эксплуатационных затрат. Какой вариант удовлетворяет этим требованиям?

Amazon Managed Service for Apache Flink (ранее Kinesis Data Analytics) идеально подходит для потоковой обработки данных в реальном времени с аналитикой на основе времени и окнами до 30 минут. Он обеспечивает высокую отказоустойчивость и низкие эксплуатационные расходы, поскольку является полностью управляемым сервисом. Apache Flink изначально поддерживает различные типы окон (включая скользящие и прыгающие окна) и агрегации, что позволяет легко реализовать требуемую аналитику. Использование AWS Lambda для агрегаций в окнах до 30 минут менее эффективно и более сложно в реализации, особенно при необходимости обработки дубликатов или сложных агрегаций, поскольку Lambda лучше подходит для бессерверных функций, а не для непрерывной потоковой обработки с состоянием.