Si inseriscono in streaming 10.000 messaggi di social media al minuto in BigQuery e si eseguono immediatamente aggregazioni, ma le query non rilevano le righe in transito a causa della consistenza finale. Come si dovrebbe modificare la progettazione dell'applicazione?

La risposta corretta è "Stimare la latenza media per la disponibilità dei dati dopo gli inserimenti in streaming e eseguire sempre le query dopo aver atteso il doppio del tempo." Questo perché BigQuery, quando si utilizzano gli inserimenti in streaming, offre una coerenza finale. Ciò significa che i dati non sono immediatamente disponibili per l'interrogazione subito dopo l'inserimento, ma c'è un breve ritardo. Stimare questa latenza e attendere un tempo adeguato (ad esempio, il doppio della latenza media) garantisce che le query vedano i dati più recenti. Le altre opzioni introducono ritardi eccessivi (caricamento ogni 2 minuti o ogni ora) o non sono pratiche per un volume elevato di messaggi in streaming (caricamento batch per singoli messaggi).