센서 메타데이터가 시간별로 업데이트되는 sensors 테이블(500MB)이 있습니다. 각 센서는 30초마다 타임스탬프와 함께 측정항목을 내보냅니다. BigQuery에 측정항목을 저장하고, 주간 분석을 실행하며, 비용을 최소화해야 합니다. 어떤 데이터 모델을 사용하시겠습니까?

정답은 시계열 데이터 저장 및 분석에 최적화된 접근 방식입니다. BigQuery는 대량의 데이터를 효율적으로 처리하며, 특히 타임스탬프 기반 파티셔닝은 주간 분석 시 스캔하는 데이터 양을 줄여 비용을 절감합니다. INSERT 문은 BigQuery에서 대량의 데이터를 추가하는 데 가장 효율적인 방법이며, UPDATE는 비용이 많이 들고 성능이 좋지 않습니다. 센서 메타데이터와 측정항목을 분리하면 데이터 모델이 유연해지고, 필요한 경우에만 조인하여 쿼리 복잡성을 관리할 수 있습니다. RECORD 및 REPEATED 필드를 사용하는 것은 단일 테이블에 중첩된 데이터를 저장하는 방법이지만, 이 시나리오에서는 측정항목의 빈번한 업데이트로 인해 비효율적이며, 파티셔닝의 이점을 활용하기 어렵습니다.