Créez un tableau de bord d'inventaire quasi en temps réel avec des soldes historiques et des milliers de mises à jour par heure. Maximisez les performances du tableau de bord et assurez l'exactitude. Quelle conception implémentez-vous ?

La bonne approche utilise le streaming BigQuery pour les mises à jour quasi en temps réel des mouvements d'inventaire, ce qui est essentiel pour des milliers de mises à jour par heure. En enregistrant les changements quotidiens dans une table séparée et en les joignant à une table d'historique via une vue, vous maintenez l'historique tout en permettant des calculs de solde à jour. La mise à jour nocturne de la table des soldes historiques est une pratique courante pour consolider les données et optimiser les performances des requêtes sur les données historiques. L'utilisation des instructions UPDATE de BigQuery est inefficace pour des milliers de mises à jour par heure, car chaque UPDATE est une opération coûteuse. Le partitionnement par article ne résout pas le problème de performance des UPDATE et pourrait même créer trop de petites partitions. Le chargeur en masse BigQuery est destiné au traitement par lots, ce qui ne permet pas d'atteindre le "quasi en temps réel" requis.