Millionen von IoT-Geräten streamen Sensordaten nach BigQuery. Abfragen konzentrieren sich auf aktuelle Daten, gefiltert nach create_date, location_id und device_version. Wie sollten Sie die Tabelle für Kosten und Leistung partitionieren und clustern?

Die Partitionierung nach createdate ist optimal, da Abfragen häufig die neuesten Daten betreffen und das Scannen großer Datenmengen auf bestimmte Zeiträume reduziert. BigQuery kann so nur die relevanten Partitionen lesen, was Kosten senkt und die Leistung verbessert. Das Clustering nach locationid und deviceversion innerhalb jeder Partition ist sinnvoll, da diese Felder ebenfalls häufig in Filtern verwendet werden. Clustering ordnet die Daten physisch so an, dass zusammengehörige Werte nah beieinander liegen, was die Abfrageleistung weiter steigert, ohne die Anzahl der gescannten Partitionen zu erhöhen. Die Partitionierung nach allen drei Feldern wäre ineffizient, da dies zu einer sehr großen Anzahl kleiner Partitionen führen könnte. Nur Clustering ohne Partitionierung würde bei zeitbasierten Abfragen weiterhin große Datenmengen scannen. Die umgekehrte Kombination von Clustering nach createdate und Partitionierung nach anderen Feldern ist weniger effektiv, da Partitionierung die primäre Methode zur Kostenkontrolle bei zeitbasierten Abfragen ist.