Si trasmettono in streaming i dati di reporting in BigQuery con tabelle di staging e di produzione. Per mantenere un singolo set di dati master senza influire sull'ingestion o sul reporting, come si dovrebbero spostare i dati di staging in produzione?

La strategia più efficace per mantenere un set di dati master singolo e non influire sull'ingestione o sul reporting è spostare periodicamente i dati dallo staging alla produzione e poi svuotare la tabella di staging. Questo approccio garantisce che la tabella di produzione contenga sempre i dati più recenti e completi, mentre la tabella di staging è pronta per ricevere nuovi dati senza interferire con le query di produzione. Un intervallo di tre ore è un buon compromesso per bilanciare la freschezza dei dati con l'overhead operativo. Le opzioni che prevedono l'aggiornamento della produzione con le modifiche dallo staging (modalità append) possono portare a duplicazioni o a una logica di merge complessa, compromettendo l'integrità del set di dati master.