Een Kafka-stream voedt BigQuery met gebeurtenissen voor pakkettracering. De tabel is gemaakt met partitionering op opnamedatum en de querylatentie is toegenomen. Analisten bevragen geografische trends per pakket. Welke wijziging zal de BigQuery-queryprestaties verbeteren?

Clustering op de kolom package-tracking ID verbetert de queryprestaties aanzienlijk. Hoewel de tabel al gepartitioneerd is op opnamedatum, wat helpt bij tijdsgebonden queries, zoeken analisten naar geografische trends per pakket. Dit betekent dat queries vaak filteren of aggregeren op basis van individuele pakket-ID's. Clustering zorgt ervoor dat rijen met vergelijkbare package-tracking ID waarden fysiek dicht bij elkaar worden opgeslagen. Dit minimaliseert de hoeveelheid gegevens die BigQuery moet scannen wanneer er gefilterd wordt op deze kolom, wat de latentie vermindert. Het toevoegen van clustering aan de ingest-date kolom is minder effectief omdat de tabel al gepartitioneerd is op die kolom; clustering op dezelfde kolom als de partitionering voegt weinig extra voordeel toe. Het archiveren van oudere gegevens naar Cloud Storage kan kosten besparen, maar verbetert de prestaties van actieve queries niet en kan ze zelfs vertragen als de externe tabel vaak wordt bevraagd. Het opnieuw aanmaken van de tabel met partitionering op pakketbezorgdatum zou alleen nuttig zijn als de meeste queries filteren op die specifieke datum, wat hier niet het primaire probleem is.