Dataflow ストリーミングジョブが、exactly-once 配信ではないソースから読み取り、メッセージを変換し、BigQuery に書き込みます。取り込みは約 1.5 GB/秒と予想されます。BigQuery への exactly-once 配信を実現するにはどうすればよいですか？

BigQuery Storage Write API は、Dataflow から BigQuery への exactly-once 配信をサポートする推奨される方法です。この API は、ストリームオフセットに基づいた重複排除機能を提供し、データが一度だけ書き込まれることを保証します。BigQuery テーブルをマルチリージョンにすることで、高可用性と耐障害性が確保され、単一リージョンの障害時にもデータ書き込みが継続されます。BigQuery Streaming API（旧来の table.insertAll メソッド）は、ベストエフォート型の配信であり、exactly-once 配信を保証しません。したがって、exactly-once の要件を満たすには不適切です。リージョンテーブルは単一障害点となる可能性があるため、マルチリージョンテーブルが推奨されます。