1000 sensores emiten una métrica por sensor por segundo con marcas de tiempo. Ya tiene 1 TB y crecerá ~1 GB/día. Necesita lecturas de milisegundos para un solo sensor+marca de tiempo y consultas analíticas complejas diarias con uniones. ¿Cómo debe almacenar estos datos?

La opción correcta es Bigtable para el almacenamiento primario debido a su baja latencia para lecturas de un solo punto (sensor+marca de tiempo) y su escalabilidad para grandes volúmenes de datos de series temporales. Concatenar el ID del sensor y la marca de tiempo como clave de fila optimiza las búsquedas por sensor y tiempo. La exportación diaria a BigQuery es esencial para las consultas analíticas complejas y las uniones, ya que BigQuery está diseñado para este tipo de cargas de trabajo OLAP, mientras que Bigtable es una base de datos NoSQL OLTP. Almacenar directamente en BigQuery no es óptimo para lecturas de baja latencia de un solo punto. Usar la métrica como clave principal en BigQuery no es adecuado para la unicidad o el acceso eficiente. Usar la métrica en la clave de fila de Bigtable no permitiría búsquedas eficientes por sensor y tiempo.