Je hebt een sensortabel (500 MB) met sensormetadata die elk uur wordt bijgewerkt. Elke sensor zendt elke 30 seconden een meting uit met een tijdstempel. Je moet metingen opslaan in BigQuery, wekelijkse analyses uitvoeren en de kosten minimaliseren. Welk datamodel gebruik je?

De correcte optie minimaliseert kosten en is efficiënt voor BigQuery. Door een aparte metingentabel te maken die gepartitioneerd is op tijdstempel, optimaliseer je queryprestaties en kosten voor wekelijkse analyses, aangezien BigQuery alleen de relevante partities scant. Het gebruik van INSERT-statements is de aanbevolen en meest kosteneffectieve manier om gegevens in BigQuery te laden, vooral voor streaming data. Het samenvoegen van tabellen (JOIN) is een standaardpraktijk voor relationele analyses. De eerste twee opties, die een metrics-kolom met RECORD en REPEATED modus in de sensortabel voorstellen, zijn minder efficiënt. Hoewel geneste en herhaalde velden nuttig zijn, is het opslaan van alle metingen van alle sensoren in één kolom van de sensortabel niet schaalbaar en leidt het tot zeer grote rijen, wat de queryprestaties en opslagkosten negatief beïnvloedt. Bovendien is het gebruik van UPDATE-statements in BigQuery duur en niet geschikt voor het toevoegen van frequente, nieuwe metingen; INSERT-statements zijn hiervoor bedoeld. De laatste optie gebruikt wel een aparte tabel en partitionering, maar maakt onterecht gebruik van UPDATE-statements, wat duur en inefficiënt is voor het toevoegen van nieuwe metingen.