마케팅 부서에서 기존 BigQuery 테이블을 업데이트하기 위해 100만 개의 행이 포함된 CSV 파일을 제공했습니다. UPDATE를 사용하면 quotaExceeded 오류가 발생합니다. 업데이트를 적용하려면 어떻게 해야 합니까?

정답은 CSV를 새 스테이징 BigQuery 테이블로 로드하고, 스테이징 테이블을 기존 테이블과 MERGE한 다음, 결과를 새 테이블에 쓰는 것입니다. BigQuery의 UPDATE DML 문은 대량 업데이트에 효율적이지 않으며, 특히 100만 행과 같이 많은 수의 행을 업데이트할 때 quotaExceeded 오류를 발생시킬 수 있습니다. MERGE 문은 대량의 데이터 변경(삽입, 업데이트, 삭제)을 단일 원자적 작업으로 처리하는 데 최적화되어 있습니다. 스테이징 테이블을 사용하여 변경 사항을 준비한 다음 MERGE를 사용하면 성능이 향상되고 할당량 초과를 방지할 수 있습니다. 하루에 업데이트되는 행 수를 줄이는 것은 비효율적이며, 즉각적인 문제 해결책이 아닙니다. GCP Console에서 할당량을 높이는 것은 일시적인 해결책일 수 있지만, 근본적인 성능 문제를 해결하지 못하며, BigQuery의 UPDATE DML은 대량 작업에 적합하지 않습니다. CSV를 더 작은 파일로 분할하여 UPDATE DML 쿼리 수를 줄이는 것은 여전히 UPDATE 문을 사용하므로 성능 문제가 발생할 수 있습니다.