Construya un panel de inventario casi en tiempo real con saldos históricos y miles de actualizaciones por hora. Maximice el rendimiento del panel y garantice la precisión. ¿Qué diseño implementaría?

La opción correcta aprovecha el streaming de BigQuery para manejar miles de actualizaciones por hora en tiempo casi real, lo cual es eficiente para datos de alta frecuencia. Los saldos históricos se mantienen en una tabla separada, y una vista combina los datos históricos con los movimientos diarios para ofrecer una visión completa y actualizada sin modificar constantemente la tabla histórica, lo que mejora el rendimiento de las consultas del panel. La actualización nocturna de la tabla de saldos históricos consolida los datos de forma eficiente. Las sentencias UPDATE de BigQuery, aunque posibles, pueden ser costosas en términos de rendimiento y facturación para miles de actualizaciones por hora en una tabla grande, ya que BigQuery está optimizado para anexar datos. Particionar por artículo no resuelve el problema del rendimiento de las UPDATE constantes en un sistema OLAP. El cargador masivo (batch loader) no es adecuado para requisitos de tiempo casi real, ya que introduce latencia significativa.