스트리밍 파이프라인에서 호핑 윈도우를 사용하고 있지만, 일부 늦게 도착하는 데이터가 지연 데이터로 처리되지 않아 집계가 잘못되고 있습니다. 늦게 도착하는 데이터를 올바른 윈도우로 캡처하려면 어떻게 해야 합니까?

스트리밍 파이프라인에서 지연 데이터를 올바르게 처리하려면 워터마크를 사용하여 데이터가 도착할 것으로 예상되는 시점을 시스템에 알려야 합니다. 워터마크는 특정 시점까지의 모든 데이터가 처리되었음을 나타내는 논리적 시간 마커입니다. 늦게 도착하는 데이터는 워터마크가 지나간 후 도착하지만, 허용 지연 시간 내에 있다면 여전히 올바른 윈도우에 할당될 수 있습니다. 텀블링 윈도우는 겹치지 않는 고정 크기 윈도우이므로 지연 데이터 처리에