Un trabajo de streaming de Dataflow lee de una fuente sin entrega exactly-once, transforma mensajes y escribe en BigQuery. Se espera una ingesta de ~1,5 GB/s. ¿Cómo se logra la entrega exactly-once en BigQuery?

La BigQuery Storage Write API es la única opción que garantiza la entrega exactly-once en BigQuery, ya que permite la escritura de datos con semántica de transacción y deduplicación a nivel de registro, lo cual es crucial cuando la fuente no garantiza exactly-once. La BigQuery Streaming API (también conocida como la API de inserción de filas) solo ofrece semántica at-least-once, lo que podría resultar en duplicados. Una tabla multiregional de BigQuery ofrece mayor disponibilidad y durabilidad, lo cual es importante para cargas de trabajo de streaming de alta ingesta como 1.5 GB/s, asegurando que el destino pueda manejar la carga y sea resiliente a fallas regionales. Una tabla regional, aunque funcional, no ofrece el mismo nivel de resiliencia y disponibilidad para un sistema de misión crítica.