이벤트가 늦게 도착하거나 순서가 뒤바뀌어 도착할 수 있는 경우 Dataflow에서 배치 및 스트리밍 이벤트를 처리해야 합니다. 지연되거나 순서가 뒤바뀐 데이터를 처리하도록 파이프라인을 어떻게 설계해야 할까요?

이벤트 타임스탬프와 워터마크를 사용하면 Dataflow가 지연되거나 순서가 뒤바뀐 이벤트를 정확하게 처리할 수 있습니다. 이벤트 타임스탬프는 이벤트가 실제로 발생한 시간을 나타내며, 워터마크는 특정 시점까지의 모든 데이터가 도착했음을 나타내는 Dataflow의 진행 상황 지표입니다. Dataflow는 이 두 가지를 활용하여 늦게 도착하는 데이터를 처리하고, 창(window)을 닫을 시점을 결정하여 정확한 결과를 도출합니다. 단일 전역 창은 모든 이벤트를 캡처하지만, 지연된 데이터 처리에 대한 구체적인 메커니즘을 제공하지 않습니다. 슬라이딩 창은 특정 간격으로 데이터를 처리하지만, 지연된 데이터 처리를 위한 워터마크와 같은 명시적인 메커니즘이 부족합니다. 모든 소스에 타임스탬프가 있더라도 워터마크 없이는 지연된 데이터 처리의 완료 시점을 정확히 알기 어렵습니다.