Hai una tabella sensors (500 MB) con metadati dei sensori aggiornati ogni ora. Ogni sensore emette una metrica ogni 30 secondi con un timestamp. Devi archiviare le metriche in BigQuery, eseguire analisi settimanali e minimizzare i costi. Quale modello di dati utilizzi?

La risposta corretta è creare una tabella metrics separata, partizionata per timestamp, con una colonna sensorId per il riferimento. Questa strategia è ottimale per minimizzare i costi e gestire l'elevato volume di dati. BigQuery addebita in base ai dati scansionati, quindi partizionare per timestamp consente di scansionare solo i dati rilevanti per le analisi settimanali, riducendo i costi. L'uso di INSERT è efficiente per l'aggiunta continua di nuovi dati, poiché BigQuery è ottimizzato per carichi di lavoro append-only. Le opzioni che suggeriscono di aggiungere una colonna metrics di tipo RECORD e modalità REPEATED alla tabella sensors non sono ideali. La tabella sensors contiene metadati che si aggiornano ogni ora, mentre le metriche arrivano ogni 30 secondi. Inserire o aggiornare una colonna REPEATED con una frequenza così elevata aumenterebbe la dimensione della tabella sensors in modo sproporzionato, rendendo le query sui metadati più costose e complesse. Inoltre, l'uso di UPDATE su BigQuery per aggiungere record è meno efficiente e più costoso rispetto a INSERT, specialmente per dati che crescono continuamente.