Miljoenen IoT-apparaten streamen sensorgegevens naar BigQuery. Query's richten zich op recente gegevens, gefilterd op create_date, location_id en device_version. Hoe moet u de tabel partitioneren en clusteren voor kosten en prestaties?

Partitioneren op createdate is essentieel omdat de queries zich richten op recente gegevens en createdate een datum/tijd-veld is, wat ideaal is voor tijdgebaseerde partitionering in BigQuery. Dit vermindert de hoeveelheid gescande data aanzienlijk, wat kosten bespaart en de prestaties verbetert. Clusteren op locationid en deviceversion binnen elke partitie zorgt ervoor dat rijen met dezelfde waarden voor deze veelgebruikte filterkolommen fysiek dicht bij elkaar worden opgeslagen. Dit versnelt queries die filteren op deze kolommen, omdat BigQuery minder blokken hoeft te lezen. Opties die alleen partitioneren of alleen clusteren, of die createdate clusteren in plaats van partitioneren, zijn minder efficiënt voor dit querypatroon. De combinatie van partitioneren op tijd en clusteren op categorische filterkolommen is de meest geoptimaliseerde aanpak.