BigQuery에 3년치 과거 데이터가 있고 매일 데이터가 수집됩니다. 지난 30~90일로 필터링된 쿼리가 여전히 전체 테이블을 스캔하여 비용이 증가하고 있습니다. SQL 액세스를 유지하면서 가장 비용 효율적인 해결책은 무엇입니까?

정답은 DDL을 사용하여 테이블을 다시 생성하고 TIMESTAMP 또는 DATE 유형 열로 파티셔닝하는 것입니다. BigQuery에서 파티셔닝은 쿼리가 특정 파티션만 스캔하도록 하여 스캔되는 데이터 양을 줄여 비용을 절감하고 성능을 향상시킵니다. 30~90일 범위로 필터링된 쿼리는 파티셔닝된 테이블에서 해당 파티션만 스캔하므로 전체 테이블 스캔을 방지할 수 있습니다. 다른 옵션들은 다음과 같은 이유로 적절하지 않습니다. Cloud Storage로 내보내기는 SQL 액세스를 유지하지 않습니다. 데이터를 여러 테이블로 분할하는 것은 복잡하며, 파티셔닝만큼 효율적이지 않습니다. 매일 새 테이블을 생성하는 것은 관리 오버헤드가 크고, 와일드카드 쿼리는 여전히 여러 테이블을 스캔하여 비용 효율적이지 않을 수 있습니다.