Un job di streaming Dataflow legge da una sorgente senza delivery exactly-once, trasforma i messaggi e scrive su BigQuery. L'ingestione prevista è di circa 1,5 GB/s. Come si ottiene la delivery exactly-once in BigQuery?

La BigQuery Storage Write API è l'approccio consigliato per garantire la delivery exactly-once in BigQuery, poiché supporta la deduplicazione automatica dei dati basata su un ID univoco fornito dall'utente. Questo è fondamentale quando la sorgente non garantisce delivery exactly-once. La BigQuery Streaming API (legacy) non offre intrinsecamente garanzie exactly-once e richiede una logica di deduplicazione manuale, che è più complessa e meno efficiente. La scelta tra tabella regionale e multiregionale non influisce direttamente sulla garanzia exactly-once, ma una tabella multiregionale offre maggiore disponibilità e resilienza, che sono generalmente preferibili per carichi di lavoro di streaming ad alta ingestione come 1,5 GB/s.