로그 기반 CDC 스트림을 사용하여 트리거 기반 CDC를 BigQuery로 마이그레이션합니다. 컴퓨팅 오버헤드를 줄이면서 최소한의 지연 시간으로 보고 테이블에서 변경 사항을 사용할 수 있도록 하려면 다음 두 가지 단계를 수행해야 합니다. (두 가지 선택)

로그 기반 CDC를 BigQuery로 마이그레이션할 때 컴퓨팅 오버헤드를 줄이고 지연 시간을 최소화하려면, 먼저 각 새 CDC 레코드와 해당 작업 유형을 실시간으로 스테이징 테이블에 삽입해야 합니다. 이는 보고 테이블에 대한 직접적인 실시간 DML 작업을 피하여 부하를 줄이고, 대량의 변경 사항을 효율적으로 처리하기 위함입니다. 그런 다음, DML MERGE를 주기적으로 사용하여 스테이징 테이블의 여러 DML INSERT, UPDATE 및 DELETE 작업을 보고 테이블에 일괄적으로 적용합니다. MERGE는 여러 작업을 단일 트랜잭션으로 처리하여 컴퓨팅 오버헤드를 최소화하고 보고 테이블의 일관성을 유지하는 데 효과적입니다. 보고 테이블에 각 개별 CDC 레코드를 실시간으로 직접 복제하는 DML 작업은 높은 컴퓨팅 오버헤드를 발생시키고 BigQuery의 스트리밍 삽입 한계에 도달할 수 있어 비효율적입니다. 보고 테이블에 실시간으로 삽입하고 구체화된 뷰를 사용하는 방법은 지연 시간을 줄일 수 있지만, 뷰 유지 관리에 따른 추가 비용과 복잡성이 발생할 수 있습니다. 오래된 레코드를 주기적으로 삭제하는 것은 CDC 마이그레이션의 핵심 단계가 아니며, 변경 사항을 보고 테이블에 적용하는 문제와 직접적인 관련이 없습니다.