실행 중인 스트리밍 Cloud Dataflow 작업이 있습니다. 엔지니어가 다른 윈도잉 및 트리거를 사용하여 새 버전을 만들었습니다. 데이터 손실 없이 업데이트하려면 어떻게 해야 합니까?

스트리밍 Dataflow 작업의 윈도잉 및 트리거 로직을 변경하는 것은 파이프라인 그래프의 변경을 의미하며, 이는 인플레이스 업데이트(--update)로 처리할 수 없습니다. 인플레이스 업데이트는 주로 파이프라인 코드의 작은 변경이나 종속성 업데이트에 사용됩니다. 데이터 손실 없이 새 버전으로 전환하려면, 기존 작업을 Drain(드레인)해야 합니다. Drain은 작업이 현재 처리 중인 모든 미처리 데이터를 완료하고, 새로운 데이터 처리를 중단한 후 작업을 정상적으로 종료하는 방식입니다. 이 과정을 통해 데이터 손실 없이 기존 작업의 모든 데이터를 처리한 후, 업데이트된 코드로 새 작업을 시작하여 중단 없이 데이터 처리를 이어갈 수 있습니다. Cancel은 즉시 작업을 중단하여 데이터 손실을 초래할 수 있으므로 적합하지 않습니다. 새로운 고유 작업 이름으로 --update를 사용하는 것은 기존 작업을 업데이트하지 않고 단순히 새 작업을 시작하는 것이므로, 기존 작업의 데이터를 처리하는 데