1000 sensoren zenden elk één meting per seconde uit met tijdstempels. Je hebt al 1 TB en zult groeien met ~1 GB/dag. Je hebt milliseconden-lezingen nodig voor een enkele sensor+tijdstempel en dagelijkse complexe analytische queries met joins. Hoe moet je deze gegevens opslaan?

De correcte optie is om de gegevens op te slaan in Bigtable en dagelijks te exporteren naar BigQuery. Bigtable is een uitstekende keuze voor tijdreeksgegevens met hoge schrijfsnelheden en lage latentie voor puntquery's (enkele sensor+tijdstempel). Het samenvoegen van de sensor ID en tijdstempel als rijsleutel zorgt voor efficiënte toegang tot specifieke metingen. BigQuery is daarentegen geoptimaliseerd voor grootschalige analytische queries en joins, wat essentieel is voor de dagelijkse complexe analyses. Het exporteren van de gegevens naar BigQuery maakt gebruik van de sterke punten van beide databases. BigQuery direct gebruiken met een geconcateneerde sleutel is minder efficiënt voor de hoge-frequentie schrijfbewerkingen en lage-latentie puntquery's. Het gebruik van meting als primaire sleutel is ongeschikt, omdat metingen niet uniek zijn en geen goede toegangspatronen bieden. Het samenvoegen van sensor ID en meting als rijsleutel in Bigtable is ook onjuist, omdat de tijdstempel cruciaal is voor unieke identificatie en tijdreeksquery's.