Je stream-insert 10k social media berichten/min in BigQuery en voert direct aggregaties uit, maar queries missen in-flight rijen vanwege eventual consistency. Hoe moet je het applicatieontwerp aanpassen?

De correcte aanpak is om de gemiddelde latentie voor gegevensbeschikbaarheid na streaming inserts te schatten en queries altijd uit te voeren na twee keer zo lang te hebben gewacht. BigQuery streaming inserts bieden eventual consistency, wat betekent dat recent ingevoegde rijen mogelijk niet direct zichtbaar zijn voor queries. Door een wachttijd in te bouwen die gebaseerd is op de waargenomen latentie, verhoog je de kans dat alle relevante data beschikbaar is. Het herschrijven van de applicatie om geaccumuleerde data elke 2 minuten te laden (batching) zou de real-time aggregaties die de vraag vereist, tenietdoen. Het converteren naar batch load voor individuele berichten is inefficiënt en lost het eventual consistency probleem niet op voor de real-time aggregaties. Het laden naar Cloud SQL en vervolgens exporteren naar BigQuery introduceert onnodige complexiteit en latency, en is niet geschikt voor de vereiste hoge doorvoer en directe aggregaties.