Você insere 10 mil mensagens de mídia social por minuto no BigQuery e executa agregações imediatamente, mas as consultas perdem linhas em andamento devido à consistência eventual. Como você deve ajustar o design do aplicativo?

A inserção de streaming no BigQuery oferece consistência eventual, o que significa que os dados podem não estar imediatamente visíveis para consultas após a ingestão. A solução correta aborda essa latência inerente. Ao estimar o tempo médio para que os dados se tornem consistentes e aguardar o dobro desse período antes de consultar, você garante que as consultas operem sobre um conjunto de dados completo e consistente. As outras opções são menos eficazes ou inadequadas: Reescrever o aplicativo para carregar dados acumulados a cada 2 minutos ou converter para carregamento em lote para mensagens individuais introduziria latência desnecessária ou complexidade, perdendo os benefícios do streaming. Carregar para o Google Cloud SQL e exportar para o BigQuery via inserções de streaming a cada hora é excessivamente complexo e introduz uma latência muito maior do que o necessário para o cenário de streaming.