1000개의 센서가 초당 센서당 하나의 지표를 타임스탬프와 함께 내보냅니다. 이미 1TB를 가지고 있으며 매일 약 1GB씩 증가할 것입니다. 단일 센서+타임스탬프에 대해 밀리초 단위의 읽기가 필요하며, 조인(join)을 포함하는 복잡한 일일 분석 쿼리가 필요합니다. 이 데이터를 어떻게 저장해야 할까요?

이 시나리오에는 두 가지 주요 요구 사항이 있습니다. 첫째, 단일 센서+타임스탬프에 대한 밀리초 단위의 빠른 읽기가 필요합니다. Bigtable은 낮은 지연 시간으로 대량의 시계열 데이터를 처리하는 데 최적화된 NoSQL 데이터베이스이므로 이 요구 사항에 가장 적합합니다. 센서 ID와 타임스탬프를 연결하여 행 키로 사용하면 특정 시점의 특정 센서 데이터를 효율적으로 검색할 수 있습니다. 둘째, 복잡한 일일 분석 쿼리가 필요합니다. BigQuery는 대규모 데이터 세트에 대한 복잡한 분석 쿼리를 실행하는 데 매우 강력합니다. 따라서 Bigtable에 데이터를 저장하고 매일 BigQuery로 내보내면 두 가지 요구 사항을 모두 충족할 수 있습니다. BigQuery에 직접 저장하는 것은 밀리초 단위의 단일 레코드 조회에 Bigtable만큼 효율적이지 않습니다. Bigtable에 센서 ID와 지표를 연결하여 행 키로 사용하는 것은 타임스탬프 기반 조회를 어렵게 만들고, 지표를 기본 키로 사용하는 것은 고유하지 않으므로 적절하지 않습니다.