데이터 손실 없이, 불일치를 피하고, 추가 지연 시간을 10분 미만으로 유지하면서 새로운 스트리밍 Dataflow 파이프라인 버전(Pub/Sub 읽기, BigQuery 쓰기)을 배포해야 합니다. 어떤 배포 순서를 따르시겠습니까?

스트리밍 Dataflow 파이프라인을 데이터 손실 없이, 불일치를 피하고, 최소한의 지연 시간으로 업데이트하려면 '드레인(drain)' 기능을 사용해야 합니다. 파이프라인을 드레인하면 현재 처리 중인 모든 데이터를 완료한 후 gracefully 중지됩니다. 이 과정에서 모든 미처리 데이터가 BigQuery에 기록되므로 데이터 손실이나 불일치가 발생하지 않습니다. 드레인 후 새 파이프라인을 시작하면 새로운 코드로 처리가 이어지며, 이 과정은 일반적으로 10분 미만의 추가 지연 시간으로 완료됩니다. 다른 옵션들은 다음과 같은 문제가 있습니다. 이전 파이프라인을 새 파이프라인 코드로 업데이트하는 것은 Dataflow에서 스트리밍 파이프라인에 대해 직접 지원하지 않는 방식입니다. 스냅샷 후 중지하고 새 파이프라인을 시작하는 것은 데이터 손실을 방지할 수 있지만, 스냅샷 생성 및 복원 과정에서 추가적인 지연 시간이 발생할 수 있습니다. 이전 파이프라인을 취소(cancel)하면 현재 처리 중인 데이터가 손실될 수 있으므로 데이터 무결성 요구 사항을 충족하지 못합니다.