지난 30일간의 데이터만 사용하는 모델에 필요한 날씨 데이터가 있습니다. 불필요한 데이터를 저장하는 것을 피하고 비용을 최소화하려면 BigQuery 테이블을 어떻게 설계해야 할까요?

정답은 날씨 데이터의 datetime 값으로 파티션된 BigQuery 테이블을 생성하고 파티션 만료를 30일로 설정하는 것입니다. BigQuery의 파티션 만료 기능은 지정된 기간이 지나면 자동으로 오래된 파티션을 삭제하여 불필요한 데이터 저장 및 관련 비용을 효과적으로 방지합니다. 날씨 데이터의 실제 datetime 값을 기준으로 파티셔닝하면 쿼리 성능을 최적화하고 특정 날짜 범위의 데이터에 효율적으로 액세스할 수 있습니다. 다른 옵션들은 다음과 같은 이유로 최적이 아닙니다. 예약된 쿼리를 통해 오래된 행을 삭제하는 방식은 수동 관리가 필요하며, 삭제 작업 자체에 컴퓨팅 비용이 발생합니다. 수집 시간으로 파티셔닝하는 것은 날씨 데이터의 실제 날짜와 다를 수 있으므로, 모델이 필요로 하는 "지난 30일간의 날씨 데이터"를 정확히 유지하기 어렵습니다. 날씨 데이터의 datetime 열을 사용하더라도 예약된 쿼리로 삭제하는 것은 위에서 언급한 단점을 가집니다.