Pub/Sub 스트리밍 데이터에 윈도잉 및 변환을 사용하는 Cloud Dataflow 작업이 스트리밍 삽입에서 실패합니다. 가장 가능성이 높은 원인은 무엇입니까?

Cloud Dataflow에서 Pub/Sub 스트리밍 데이터에 윈도잉 및 변환을 사용하는 작업이 스트리밍 삽입에서 실패하는 가장 가능성 높은 원인은 비전역(샤딩된) 윈도잉 함수가 적용되지 않았기 때문입니다. 스트리밍 삽입은 일반적으로 데이터를 시간 기반으로 그룹화하고 처리해야 하므로, 전역 윈도우 대신 세션 윈도우나 고정 윈도우와 같은 비전역 윈도우를 사용하여 데이터를 논리적인 그룹으로 분할해야 합니다. 전역 윈도우는 무한한 데이터 스트림을 단일 그룹으로 처리하므로, 스트리밍 삽입과 같은 유한한 처리 단위에는 적합하지 않습니다. 이벤트 타임스탬프 할당 누락은 데이터 처리 지연이나 부정확성을 유발할 수 있지만, 작업 실패의 직접적인 원인이라기보다는 결과의 정확성에 영향을 미칩니다. 늦은 데이터 처리 트리거 구성 누락도 유사하게 데이터 정확성에 영향을 미치지만, 파이프라인 생성 시 스트리밍 삽입 작업 자체의 실패 원인은 아닙니다.