새 수집 파이프라인 버전을 배포한 후 BigQuery에 매일 저장되는 데이터가 50% 증가했고, Pub/Sub 볼륨은 변경되지 않았으며, 일부 일별 파티션만 두 배로 늘어났습니다. 원인을 조사하고 해결하려면 어떻게 해야 합니까?

정답은 문제에서 제시된 증상에 대한 가장 포괄적이고 체계적인 문제 해결 접근 방식을 제공합니다. BigQuery 데이터가 50% 증가했지만 Pub/Sub 볼륨은 동일하다는 것은 데이터 중복이 발생했음을 강력히 시사합니다. 1단계는 중복 행을 확인하여 이 가설을 검증합니다. 2단계와 3단계는 BigQuery 감사 로그와 Cloud Monitoring을 사용하여 중복을 유발한 특정 Dataflow 작업과 코드 버전을 식별합니다. 이는 문제의 근본 원인을 정확히 찾아내는 데 중요합니다. 4단계는 여러 파이프라인이 동일한 테이블에 쓰고 있을 가능성을 해결하며, 이는 중복의 일반적인 원인입니다. 최신 버전을 제외한 모든 버전을 중지함으로써 불필요한 데이터 수집을 방지하고 중복을 해결합니다. 다른 옵션들은 다음과 같은 이유로 정답이 아닙니다. 첫 번째 오답은 중복 제거 스크립트를 공유하는 것에 초점을 맞추지만, 근본 원인을 식별하고 해결하는 데 필요한 단계가 부족합니다. 두 번째 오답은 코드 오류 확인과 BigQuery 테이블 복원에 초점을 맞추지만, 중복의 근본 원인을 식별하는 데 필요한 감사 로그 및 모니터링 단계를 놓치고 있습니다. 세 번째 오답은 롤백 및 메시지 재생에 초점을 맞추지만, 중복의 근본 원인을 식별하고 해결하는 데 필요한 단계가 부족합니다.