Поток Kafka IoT в среднем составляет ~5000 сообщений/с. Создайте оповещение, как только 1-часовое скользящее среднее упадет ниже 4000 сообщений/с. Что следует реализовать?

Правильный ответ — использование Dataflow с Kafka IO, скользящего 1-часового окна каждые 5 минут. Dataflow идеально подходит для потоковой обработки данных, а Kafka IO позволяет легко интегрироваться с Kafka. Скользящее окно (tumbling window) позволяет непрерывно вычислять среднее значение за последний час, обновляя его каждые 5 минут, что обеспечивает своевременное обнаружение падения ниже порогового значения. Вариант с фиксированным окном (fixed window) не подходит, так как он будет вычислять среднее только по завершении каждого часа, что приведет к задержкам в обнаружении проблемы. Использование Kafka Connect с Pub/Sub, а затем Bigtable или BigQuery с Cloud Scheduler для подсчета строк является менее эффективным и более сложным подходом для мониторинга потоковых данных в реальном времени, так как он вводит дополнительные задержки и накладные расходы на хранение и периодический запрос данных.