수백만 개의 IoT 디바이스가 센서 데이터를 BigQuery로 스트리밍합니다. 쿼리는 create_date, location_id, device_version으로 필터링된 최신 데이터에 중점을 둡니다. 비용과 성능을 위해 테이블을 어떻게 파티셔닝하고 클러스터링해야 할까요?

이 시나리오에서는 쿼리가 최신 데이터에 중점을 두므로 createdate로 파티셔닝하는 것이 가장 효율적입니다. 이렇게 하면 쿼리가 스캔해야 하는 데이터 양이 크게 줄어들어 비용과 성능이 향상됩니다. locationid 및 deviceversion으로 클러스터링하면 이러한 필터가 쿼리에 자주 사용될 때 추가적인 성능 이점을 얻을 수 있습니다. 클러스터링은 관련 데이터를 함께 저장하여 스캔되는 데이터 양을 최소화합니다. 다른 옵션들은 다음과 같은 이유로 최적이 아닙니다. createdate, locationid, deviceversion으로 파티셔닝하는 것은 너무 많은 파티션을 생성하여 관리 오버헤드를 증가시키고 작은 파티션으로 인해 성능이 저하될 수 있습니다. createdate, locationid, deviceversion으로 클러스터링만 하는 것은 createdate로 데이터를 필터링할 때 파티셔닝만큼 효과적으로 데이터 스캔을 줄이지 못합니다. createdate로 클러스터링하고 locationid 및 deviceversion으로 파티셔닝하는 것은 파티셔닝의 이점을 잘못 활용하는 것입니다. 파티셔닝은 일반적으로 시간 기반 필터에 가장 효과적입니다.