Um stream Kafka alimenta eventos de rastreamento de pacotes no BigQuery. A tabela foi criada particionada por data de ingestão e a latência da consulta aumentou. Os analistas consultam tendências geoespaciais por pacote. Que mudança melhorará o desempenho da consulta do BigQuery?

A adição de clustering na coluna package-tracking ID é a melhor solução. O clustering organiza os dados dentro de cada partição com base nos valores da coluna clusterizada, o que é ideal para consultas que filtram ou agregam por essa coluna. Como os analistas consultam tendências geoespaciais por pacote, o ID de rastreamento é um filtro comum, e o clustering reduzirá a quantidade de dados a serem lidos. Adicionar clustering na coluna ingest-date não ajudaria significativamente, pois a tabela já é particionada por essa coluna, e a partição já otimiza as consultas baseadas em data. Arquivar dados antigos no Cloud Storage e usar uma tabela externa pode reduzir o custo de armazenamento, mas não melhorará o desempenho das consultas ativas, pois ainda exigiria a leitura de dados externos. Recriar a tabela particionada por delivery-date pode ser útil para algumas consultas, mas não aborda diretamente a necessidade de otimizar consultas por package-tracking ID e pode ser uma mudança mais complexa.