Um job de streaming do Dataflow lê de uma fonte sem entrega exactly-once, transforma mensagens e as grava no BigQuery. A ingestão esperada é de ~1,5 GB/s. Como você consegue a entrega exactly-once no BigQuery?

A BigQuery Storage Write API é a única API do BigQuery que oferece suporte a semântica exactly-once, permitindo a deduplicação de dados e garantindo que cada registro seja gravado exatamente uma vez, mesmo em caso de falhas ou reprocessamento. A garantia de que a tabela de destino seja multirregional aumenta a resiliência e a disponibilidade dos dados, o que é uma boa prática, mas não é diretamente responsável pela semântica exactly-once. As opções que mencionam a BigQuery Streaming API estão incorretas porque essa API oferece semântica at-least-once, o que significa que os dados podem ser duplicados em caso de falhas, não garantindo a entrega exactly-once.