Ein Kafka-Stream speist Paketverfolgungsereignisse in BigQuery ein. Die Tabelle wurde nach Aufnahmedatum partitioniert, und die Abfragelatenz hat zugenommen. Analysten fragen geografische Trends nach Paket ab. Welche Änderung verbessert die BigQuery-Abfrageleistung?

Die Hinzufügung von Clustering zur Spalte „package-tracking ID“ verbessert die Abfrageleistung erheblich, da Analysten häufig nach geografischen Trends pro Paket abfragen. Clustering nach dieser ID gruppiert ähnliche Daten physisch zusammen, was die Menge der zu scannenden Daten bei Abfragen, die diese ID filtern oder aggregieren, reduziert. Das Clustering nach „ingest-date“ wäre redundant, da die Tabelle bereits nach diesem Datum partitioniert ist; Partitionierung ist eine gröbere Form der Datenorganisation, während Clustering eine feinere Granularität innerhalb von Partitionen bietet. Das Archivieren älterer Daten in Cloud Storage und die Bereitstellung über eine externe Tabelle würde die Abfrageleistung für diese Daten wahrscheinlich verschlechtern, da externe Tabellen in der Regel langsamer sind als native BigQuery-Tabellen. Das Neupartitionieren nach dem Paketlieferdatum könnte nützlich sein, wenn Abfragen häufig nach diesem Datum filtern, aber es würde die Leistung für Abfragen nach der Paket-ID nicht direkt verbessern und erfordert eine aufwendige Tabellenneuerstellung.