Vous avez une table de capteurs (500 Mo) avec des métadonnées de capteurs mises à jour toutes les heures. Chaque capteur émet une métrique toutes les 30 secondes avec un horodatage. Vous devez stocker les métriques dans BigQuery, exécuter des analyses hebdomadaires et minimiser les coûts. Quel modèle de données utilisez-vous ?

La bonne approche est de créer une table de métriques séparée et partitionnée par horodatage, avec une colonne sensorId pour la jointure. Les métriques sont des données de séries temporelles qui arrivent fréquemment. L'insertion de nouvelles lignes est plus efficace que la mise à jour de lignes existantes, surtout avec une fréquence élevée (toutes les 30 secondes). La partition par horodatage dans BigQuery réduit les coûts de requête en limitant la quantité de données scannées lors des analyses hebdomadaires. Joindre les tables uniquement lorsque nécessaire est une bonne pratique pour les requêtes analytiques, car cela évite la duplication des métadonnées de capteurs et optimise le stockage. Les options qui proposent des UPDATE sont inefficaces et coûteuses pour l'ajout fréquent de nouvelles métriques. L'intégration des métriques directement dans la table des capteurs via des champs RECORD REPEATED serait également inefficace pour les requêtes analytiques sur les métriques seules, car cela nécessiterait de scanner toute la table des capteurs et de dé-nicher les données, augmentant les coûts et la latence.