1000 Sensoren senden pro Sekunde eine Metrik pro Sensor mit Zeitstempeln. Sie haben bereits 1 TB und werden täglich um ca. 1 GB wachsen. Sie benötigen Millisekunden-Lesezugriffe für einen einzelnen Sensor + Zeitstempel und tägliche komplexe Analyseabfragen mit Joins. Wie sollten Sie diese Daten speichern?

Die korrekte Lösung ist, die Daten in Bigtable zu speichern und Sensor-ID sowie Zeitstempel als Zeilenschlüssel zu verwenden, mit täglichem Export nach BigQuery. Bigtable ist eine hervorragende Wahl für hohe Schreiblasten (1000 Sensoren 1 Metrik/Sekunde = 1000 Schreibvorgänge/Sekunde) und für Millisekunden-Lesezugriffe auf einzelne Sensordaten nach Zeitstempel, da Zeilenschlüssel-basierte Abfragen in Bigtable extrem performant sind. Der Zeitstempel im Zeilenschlüssel ermöglicht effiziente Zeitreihenabfragen. BigQuery ist ideal für komplexe tägliche Analyseabfragen mit Joins, da es für analytische Workloads optimiert ist. Die Option, alles in BigQuery zu speichern, wäre für die Millisekunden-Lesezugriffe auf einzelne Sensordaten nicht optimal, da BigQuery für Batch-Analysen und nicht für punktuelle, latenzarme Abfragen konzipiert ist. Die Verwendung der Metrik als Primärschlüssel in Bigtable wäre ungeeignet, da Metriken oft nicht eindeutig sind und keine sinnvolle Sortierreihenfolge für den Zugriff nach Sensor oder Zeitstempel bieten.