Sie haben eine Sensortabelle (500 MB) mit stündlich aktualisierten Sensormetadaten. Jeder Sensor sendet alle 30 Sekunden eine Metrik mit einem Zeitstempel. Sie müssen Metriken in BigQuery speichern, wöchentliche Analysen durchführen und die Kosten minimieren. Welches Datenmodell verwenden Sie?

Die korrekte Option ist die effizienteste und kostengünstigste Methode für BigQuery. BigQuery ist für das Anhängen großer Datenmengen optimiert, was durch die Verwendung von INSERT-Anweisungen in eine separate Metriktabelle erreicht wird. Die Partitionierung nach Zeitstempel reduziert die Scan-Kosten bei wöchentlichen Analysen erheblich, da nur relevante Partitionen gelesen werden müssen. Eine separate Metriktabelle hält die Sensormetadaten-Tabelle klein und stabil. Die Option, Metriken als RECORD und REPEATED in der Sensortabelle zu speichern und UPDATE-Anweisungen zu verwenden, ist ineffizient und teuer. BigQuery ist nicht für häufige UPDATE-Operationen auf großen Tabellen optimiert, da dies zu einer Neuschreibung der gesamten Partition oder Zeile führen kann. Die Verwendung von INSERT-Anweisungen für eine RECORD- und REPEATED-Spalte wäre ebenfalls ineffizient, da dies die Sensortabelle unnötig vergrößern und die Abfrageleistung beeinträchtigen würde. Die Verwendung von UPDATE-Anweisungen in der Metriktabelle ist ebenfalls ineffizient, da BigQuery für das Anhängen von Daten optimiert ist, nicht für häufige Updates.