Strumień Kafka przesyła zdarzenia śledzenia przesyłek do BigQuery. Tabela została utworzona z partycjonowaniem według daty przyjęcia, a opóźnienie zapytań wzrosło. Analitycy wysyłają zapytania o trendy geoprzestrzenne według przesyłki. Jaka zmiana poprawi wydajność zapytań BigQuery?

Dodanie klastrowania na kolumnie package-tracking ID poprawi wydajność, ponieważ analitycy wysyłają zapytania o trendy geoprzestrzenne według przesyłki. Klastrowanie organizuje dane w bloki w oparciu o wartości tej kolumny, co pozwala BigQuery na szybsze skanowanie tylko odpowiednich bloków danych, zamiast całej tabeli lub wielu partycji. Partycjonowanie według daty przyjęcia jest już obecne, ale klastrowanie dodaje kolejny poziom organizacji w ramach partycji, optymalizując zapytania, które często filtrują lub grupują dane według identyfikatora śledzenia przesyłki. Archiwizacja danych do Cloud Storage zwiększy złożoność i niekoniecznie poprawi wydajność zapytań na bieżących danych. Ponowne partycjonowanie według daty dostarczenia nie jest optymalne, ponieważ zapytania dotyczą trendów według przesyłki, a nie według daty dostarczenia.