타임스탬프 및 ID에 WHERE 절이 있는 BigQuery 쿼리가 여전히 전체 테이블 스캔을 트리거합니다. 최소한의 SQL 변경으로 스캔되는 바이트 수를 줄리려면 어떻게 해야 합니까?

BigQuery에서 WHERE 절이 있는 쿼리가 전체 테이블 스캔을 트리거하는 경우, 스캔되는 바이트 수를 줄이는 가장 효과적인 방법은 테이블을 파티셔닝하고 클러스터링하는 것입니다. 파티셔닝은 지정된 열(예: 타임스탬프)을 기준으로 데이터를 분할하여 쿼리가 관련 파티션만 스캔하도록 합니다. 클러스터링은 파티션 내에서 데이터를 정렬하여(예: ID) 쿼리가 필요한 데이터 블록만 읽도록 최적화합니다. 각 ID에 대해 별도의 테이블을 생성하는 것은 관리 오버헤드가 크고 복잡성을 증가시킵니다. LIMIT 키워드는 반환되는 행 수를 줄이지만, 쿼리 처리 중에 스캔되는 바이트 수에는 영향을 미치지 않습니다. bq query --maximumbytesbilled 플래그는 청구되는 최대 바이트 수를 설정하지만, 실제 스캔되는 바이트 수를 줄이지는 않으며 쿼리가 해당 한도를 초과하면 실패할 수 있습니다.