IoT Kafka ストリームは平均して約 5000 メッセージ/秒です。1 時間の移動平均が 4000 メッセージ/秒を下回ったらすぐにアラートを作成してください。何を実装すべきですか？

このシナリオでは、直近1時間の移動平均が特定のしきい値を下回ったときに「すぐに」アラートを生成する必要があります。Dataflowの「スライディングウィンドウ」は、この要件を満たすための最適な選択肢です。1時間のウィンドウを5分ごとにスライドさせることで、システムは常に直近1時間のデータに基づいて平均を計算し、条件が満たされ次第アラートを発することができます。 固定ウィンドウでは、ウィンドウが閉じるまで平均が計算されないため、「すぐに」という要件を満たせません。Kafka ConnectとBigtable/BigQueryを組み合わせたソリューションは、バッチ処理に近く、リアルタイムの移動平均計算には適していません。また、Cloud Schedulerで定期的に過去1時間の行数をカウントする方法では、データが到着するたびに移動平均を更新するのではなく、指定された間隔でのみチェックするため、アラートの即時性が損なわれます。