Vous insérez en continu 10 000 messages de médias sociaux par minute dans BigQuery et exécutez des agrégations immédiatement, mais les requêtes ne tiennent pas compte des lignes en cours de traitement en raison de la cohérence éventuelle. Comment devriez-vous ajuster la conception de l'application ?

BigQuery utilise une cohérence éventuelle pour les insertions en continu, ce qui signifie que les données ne sont pas immédiatement disponibles pour les requêtes. Attendre un certain temps après l'insertion permet aux données de devenir visibles. Doubler la latence moyenne estimée offre une marge de sécurité pour s'assurer que la plupart des données sont disponibles. Les autres options sont incorrectes car : Réécrire l'application pour charger les données accumulées toutes les 2 minutes ou convertir le code d'insertion en continu en chargement par lots introduirait un délai intentionnel et contrecarrerait l'exigence d'agrégations immédiates. Charger le message original dans Google Cloud SQL et exporter la table toutes les heures vers BigQuery via des insertions en continu ajouterait une complexité inutile et une latence encore plus grande, ne répondant pas au besoin d'agrégations "immédiates".