Você tem uma tabela de sensores (500 MB) com metadados de sensores atualizados a cada hora. Cada sensor emite uma métrica a cada 30 segundos com um timestamp. Você precisa armazenar métricas no BigQuery, executar análises semanais e minimizar custos. Qual modelo de dados você usa?

A opção correta minimiza custos e otimiza o desempenho no BigQuery. Particionar a tabela de métricas por timestamp permite que o BigQuery escaneie apenas os dados relevantes para as análises semanais, reduzindo o volume de dados processados e, consequentemente, os custos. Usar INSERT para adicionar novas métricas é eficiente para dados de séries temporais, pois o BigQuery é otimizado para anexar dados. A separação das tabelas de sensores (metadados) e métricas (dados de alta frequência) com uma chave estrangeira (sensorId) é um modelo de dados relacional padrão que evita duplicação e mantém a integridade dos dados, permitindo junções apenas quando necessário. As opções que usam UPDATE a cada 30 segundos são ineficientes e caras no BigQuery, pois UPDATE reescreve partições inteiras, o que é proibitivo para dados de alta frequência. As opções que tentam armazenar métricas como um campo RECORD REPEATED dentro da tabela de sensores não são ideais para dados de alta frequência, pois um RECORD REPEATED tem um limite de tamanho e pode levar a uma tabela muito grande e ineficiente para consultas de séries temporais.