Un flusso Kafka alimenta eventi di tracciamento dei pacchi in BigQuery. La tabella è stata creata partizionata per data di ingestione e la latenza delle query è aumentata. Gli analisti interrogano le tendenze geospaziali per pacco. Quale modifica migliorerà le prestazioni delle query di BigQuery?

Il clustering sulla colonna package-tracking ID migliorerà le prestazioni perché le query degli analisti si concentrano sulle tendenze geospaziali per pacco. Il clustering organizza fisicamente i dati all'interno di ogni partizione in base ai valori della colonna specificata, raggruppando righe con valori simili. Questo riduce la quantità di dati scansionati quando le query filtrano o aggregano per ID pacco, che è un identificatore univoco per ogni pacco. Aggiungere il clustering su ingest-date non aiuterebbe significativamente, poiché la tabella è già partizionata per questa colonna, e il clustering all'interno di una partizione basato sulla stessa colonna non offre ulteriori vantaggi. Archiviare i dati meno recenti su Cloud Storage e usare una tabella esterna aumenterebbe la latenza per le query sui dati storici, anziché migliorarla. Ricreare la tabella partizionata per data di consegna del pacco potrebbe essere utile se le query si concentrassero sulla data di consegna, ma l'attuale problema riguarda le tendenze per pacco, rendendo il clustering sull'ID del pacco più efficace.