Masz tabelę sensors (500 MB) z metadanymi czujników aktualizowanymi co godzinę. Każdy czujnik emituje metrykę co 30 sekund wraz ze znacznikiem czasu. Musisz przechowywać metryki w BigQuery, uruchamiać cotygodniowe analizy i minimalizować koszty. Jakiego modelu danych użyjesz?

Poprawna odpowiedź minimalizuje koszty i jest efektywna dla danych szeregów czasowych. Tworzenie oddzielnej tabeli metrics partycjonowanej według znacznika czasu jest optymalne dla BigQuery, ponieważ partycjonowanie znacznie redukuje ilość skanowanych danych podczas cotygodniowych analiz, obniżając koszty zapytań. Użycie INSERT jest odpowiednie dla danych napływających strumieniowo, ponieważ BigQuery jest zoptymalizowane do szybkiego dodawania nowych wierszy. Łączenie tabel sensors i metrics tylko wtedy, gdy jest to potrzebne, pozwala uniknąć duplikowania danych i utrzymuje elastyczność schematu. Pierwsza i druga opcja są nieefektywne kosztowo. Aktualizowanie lub wstawianie do zagnieżdżonej kolumny RECORD co 30 sekund w dużej tabeli sensors (500 MB) spowodowałoby ogromne koszty operacji zapisu, ponieważ BigQuery nie jest zoptymalizowane do częstych aktualizacji pojedynczych wierszy w ten sposób. Trzecia niepoprawna opcja, używająca UPDATE co 30 sekund, jest również nieefektywna kosztowo i wydajnościowo dla strumieniowych danych metryk, ponieważ UPDATE w BigQuery jest operacją kosztowną, która przepisuje partycje.