Crie um painel de inventário quase em tempo real com saldos históricos e milhares de atualizações por hora. Maximize o desempenho do painel e garanta a precisão. Qual design você implementa?

A opção correta utiliza o streaming do BigQuery para ingestão em tempo quase real de milhares de atualizações por hora, o que é eficiente para o volume de dados. Calcular saldos em uma view que une a tabela de movimentação diária com a tabela histórica de saldos permite ter dados atualizados sem reescrever a tabela histórica constantemente, otimizando o desempenho do painel. A atualização noturna da tabela de saldo histórico é um processo de manutenção que consolida os dados. Aproveitar instruções UPDATE do BigQuery para milhares de atualizações por hora pode ser ineficiente e caro, pois cada UPDATE é uma operação de escrita que reescreve partições, impactando o desempenho. Particionar a tabela de saldo por item não resolve o problema de atualizar milhares de registros por hora de forma eficiente, pois ainda exigiria operações de escrita frequentes. Usar o carregador em massa (batch loader) do BigQuery não atende ao requisito de "quase em tempo real", pois é um processo de carregamento em lote que introduz latência.