Cloud Dataflow 스트리밍 파이프라인이 Pub/Sub 구독에서 데이터를 읽고 집계된 윈도우 결과를 Cloud Storage에 씁니다. 소스 처리량이 일정할 때 파이프라인이 데이터를 처리하는지 확인하기 위해 Stackdriver 알림을 생성하려고 합니다. 어떤 알림을 생성해야 할까요?

Cloud Dataflow 스트리밍 파이프라인이 데이터를 올바르게 처리하고 있다면, Pub/Sub 구독에 쌓이는 미처리 메시지 수(subscription/numundeliveredmessages)는 감소하거나 안정적으로 유지되어야 합니다. 이는 파이프라인이 메시지를 성공적으로 소비하고 있음을 의미합니다. 동시에, 처리된 데이터가 Cloud Storage에 기록되므로, Cloud Storage의 사용된 바이트 수(instance/storage/usedbytes)는 증가해야 합니다. 따라서, 소스의 미처리 메시지 수가 증가하고 대상의 저장소 사용량이 감소하는 것은 파이프라인이 데이터를 제대로 처리하지 못하고 있음을 나타내므로, 이 시나리오에 대한 알림을 설정해야 합니다. 다른 옵션들은 파이프라인이 정상적으로 작동하거나, 비정상적인 상태를 잘못 해석하는 경우에 해당합니다.