Dataflow 스트리밍 작업이 정확히 한 번(exactly-once) 전달되지 않는 소스에서 데이터를 읽고, 메시지를 변환한 다음, BigQuery에 씁니다. 예상되는 수집량은 초당 약 1.5GB입니다. BigQuery에 정확히 한 번 전달되도록 하려면 어떻게 해야 합니까?

정확히 한 번(exactly-once) 의미를 보장하려면 BigQuery Storage Write API를 사용해야 합니다. 이 API는 스트리밍 삽입을 위한 향상된 데이터 일관성 및 안정성을 제공합니다. BigQuery Streaming API는 at-least-once 의미를 제공하므로 중복이 발생할 수 있습니다. 수집량이 초당 1.5GB로 높기 때문에, 단일 장애 지점을 피하고 가용성을 높이려면 대상 BigQuery 테이블이 멀티 리전(multiregional)이어야 합니다. 리전(regional) 테이블은 단일 리전에 국한되어 장애 발생 시 데이터 가용성에 영향을 줄 수 있습니다.