Você transmite dados de relatórios para o BigQuery com tabelas de staging e produção. Para manter um único conjunto de dados mestre sem impactar a ingestão ou os relatórios, como você deve mover os dados em staging para produção?

A melhor prática é mover os dados da tabela de staging para a tabela de produção e, em seguida, limpar a tabela de staging. Isso garante que a tabela de produção contenha apenas dados validados e prontos para uso, enquanto a tabela de staging fica pronta para receber novos dados sem duplicações ou conflitos. A frequência de três horas é um equilíbrio razoável para a maioria dos cenários de relatórios, permitindo um ciclo de atualização regular sem sobrecarregar os sistemas. As opções que sugerem apenas anexar ou atualizar a produção com base em alterações do staging podem levar a inconsistências ou complexidade desnecessária na manutenção do conjunto de dados mestre. A opção de trinta minutos pode ser muito frequente, gerando custos e sobrecarga desnecessários para a maioria dos casos de uso de relatórios.