Um stream IoT Kafka tem uma média de ~5000 msgs/s. Crie um alerta assim que a média móvel de 1 hora cair abaixo de 4000 msgs/s. O que você deve implementar?

A opção correta utiliza Dataflow com Kafka IO e uma janela deslizante de 1 hora a cada 5 minutos. Isso permite calcular a média de mensagens por segundo continuamente em intervalos de 5 minutos, cobrindo sempre a última hora. Se a média cair abaixo de 4000 msgs/s, o alerta é disparado prontamente. A janela fixa de 1 hora só calcularia a média ao final de cada hora, resultando em um atraso significativo para detectar a queda. As outras opções envolvem arquiteturas mais complexas e menos eficientes para o propósito de monitoramento em tempo quase real. Usar Kafka Connect para Pub/Sub e depois Dataflow para Bigtable/BigQuery adiciona latência e complexidade desnecessárias para um alerta simples de média de mensagens, e o Cloud Scheduler para contagem de linhas é menos performático e mais custoso do que o processamento de stream do Dataflow.