1000 czujników emituje jedną metrykę na czujnik na sekundę ze znacznikami czasu. Masz już 1 TB danych i będziesz rosnąć o około 1 GB dziennie. Potrzebujesz odczytów w milisekundach dla pojedynczego czujnika+znacznika czasu oraz codziennych złożonych zapytań analitycznych z łączeniami. Jak powinieneś przechowywać te dane?

Bigtable jest idealny do przechowywania danych szeregów czasowych o wysokiej przepustowości, takich jak dane z czujników, ze względu na jego wydajność w przypadku odczytów punktowych i odczytów w zakresie kluczy wierszy. Połączenie identyfikatora czujnika i znacznika czasu jako klucza wiersza umożliwia szybkie wyszukiwanie konkretnych odczytów czujników w czasie. Codzienny eksport do BigQuery jest konieczny, ponieważ Bigtable nie jest zoptymalizowany pod kątem złożonych zapytań analitycznych z łączeniami, które są domeną BigQuery. Pozostałe opcje są mniej odpowiednie: Przechowywanie wszystkiego w BigQuery nie jest optymalne dla odczytów punktowych w milisekundach z powodu jego architektury opartej na kolumnach, która jest lepsza dla zapytań analitycznych niż dla szybkich wyszukiwań pojedynczych wierszy. Używanie metryki jako części klucza wiersza w Bigtable nie jest dobrym wzorcem, ponieważ metryki często się powtarzają, co prowadziłoby do nieefektywnego rozłożenia danych i potencjalnych hotspotów. Używanie metryki jako klucza podstawowego w BigQuery jest nieodpowiednie, ponieważ metryki nie są unikalne i nie mogą służyć jako klucz podstawowy.