Milioni di dispositivi IoT inviano in streaming dati di sensori a BigQuery. Le query si concentrano sui dati recenti filtrati per create_date, location_id e device_version. Come si dovrebbero partizionare e raggruppare (cluster) la tabella per ottimizzare costi e prestazioni?

La partizione per createdate è ideale perché le query si concentrano sui dati recenti e la partizione riduce la quantità di dati scansionati, ottimizzando costi e prestazioni. BigQuery supporta solo la partizione su una singola colonna di tipo data/timestamp. Il clustering per locationid e deviceversion è efficace perché queste colonne sono utilizzate frequentemente nei filtri delle query. Il clustering ordina i dati all'interno di ogni partizione, migliorando ulteriormente le prestazioni delle query che filtrano o aggregano su queste colonne, senza i limiti di cardinalità della partizione. Partizionare su più colonne non è supportato direttamente da BigQuery. Clustering senza partizione sarebbe meno efficiente per i dati basati sul tempo.