한 프로젝트에 2000슬롯 BigQuery 예약이 있습니다. 수백 개의 새로운 비시간 민감 파이프라인으로 인해 할당량 오류가 발생하며, 피크 시점에 약 1500개의 쿼리가 동시에 트리거됩니다. 동시성 문제를 비용 효율적으로 해결하려면 어떻게 해야 합니까?

정답은 비시간 민감 SQL 파이프라인을 배치 쿼리로 실행하고, 임시 쿼리는 대화형 작업으로 실행하는 것입니다. BigQuery에서 배치 쿼리는 낮은 우선순위로 실행되어 사용 가능한 슬롯을 활용하며, 대화형 쿼리보다 슬롯 경합이 적습니다. 이는 수백 개의 비시간 민감 파이프라인이 동시에 실행될 때 할당량 오류를 줄이는 비용 효율적인 방법입니다. 임시 쿼리는 대화형으로 실행하여 즉각적인 결과를 얻습니다. 슬롯 용량을 늘리는 것은 비용이 많이 들고, 모든 쿼리를 대화형으로 실행하면 슬롯 경합이 심화됩니다.