1000 capteurs émettent une métrique par capteur et par seconde avec des horodatages. Vous disposez déjà de 1 To et la croissance sera d'environ 1 Go/jour. Vous avez besoin de lectures en millisecondes pour un seul capteur + horodatage et de requêtes analytiques complexes quotidiennes avec des jointures. Comment devriez-vous stocker ces données ?

La bonne réponse est de stocker les données dans Bigtable et d'exporter vers BigQuery. Bigtable est optimisé pour les charges de travail à haut débit et à faible latence, ce qui est idéal pour les lectures en millisecondes de données de capteurs en temps réel. La concaténation de l'ID du capteur et de l'horodatage comme clé de ligne permet des recherches efficaces pour des points de données spécifiques. L'exportation quotidienne vers BigQuery est essentielle pour les requêtes analytiques complexes et les jointures, car BigQuery est un entrepôt de données sans serveur conçu pour l'analyse de grands ensembles de données. Stocker directement dans BigQuery avec une clé primaire composée de l'ID du capteur et de l'horodatage ne serait pas optimal pour les lectures à faible latence d'un seul capteur. L'utilisation de la métrique comme clé primaire dans BigQuery n'est pas pertinente pour l'accès aux données de capteurs spécifiques. Stocker dans Bigtable avec la métrique comme clé de ligne ne permettrait pas de récupérer efficacement les données par capteur et horodatage.