IoT Kafka 스트림은 평균적으로 초당 약 5000개의 메시지를 처리합니다. 1시간 이동 평균이 초당 4000개 메시지 미만으로 떨어지면 즉시 알림을 생성해야 합니다. 무엇을 구현해야 할까요?

정답은 Dataflow와 슬라이딩 윈도우를 사용하는 것입니다. Dataflow는 스트리밍 데이터를 처리하는 데 적합하며, Kafka IO를 통해 Kafka 스트림에 직접 연결할 수 있습니다. "1시간 이동 평균"은 슬라이딩 윈도우를 사용해야 함을 의미하며, "즉시 알림"은 윈도우가 닫히기를 기다리지 않고 주기적으로 계산해야 함을 나타냅니다. 5분마다 1시간 슬라이딩 윈도우를 계산하면 요구 사항을 충족할 수 있습니다. 고정 1시간 윈도우는 윈도우가 닫힐 때까지 알림을 지연시키므로 "즉시" 요구 사항을 충족하지 못합니다. Kafka Connect와 Bigtable/BigQuery를 사용하는 옵션은 더 복잡하고 지연 시간이 길어질 수 있으며, Cloud Scheduler 스크립트는 실시간 스트리밍 처리에는 적합하지 않습니다.