Google PDE: 데이터 수집, 통합 및 마이그레이션 — 학습 가이드
다음의 일부입니다: Google Professional Data Engineer — 학습 가이드. 검증된 답안으로 연습하기: Google 시험 허브, 또는 다음에서 시간 제한 모의고사 풀기: ExamRoll.io.
컷오버, 백필 및 검증
- 컷오버 계획:
- 빅뱅 방식: 짧은 동결, 단일 전환. 운영 복잡성은 가장 낮지만 롤백 필요 시 위험이 가장 높음.
- 단계적 또는 블루/그린 방식: 미러링된 쓰기를 통한 이중 실행, 점진적인 트래픽 전환, 섀도우 읽기. 비용은 더 높지만 롤백이 더 안전함.
- 백필:
- Avro/Parquet를 사용하여 스키마를 보존하면서 초기 대량 로드(Transfer Appliance 또는 STS)를 수행합니다. 재작업을 피하기 위해 로드 중에 파티셔닝하고 클러스터링합니다.
- 대량 전송 중 델타를 캡처하기 위해 스냅샷과 동시에 알려진 로그 위치에서 CDC를 시작합니다. 프로덕션에 개방하기 전에 공통 워터마크에서 조정합니다.
- 롤백:
- 검증 중에는 레거시 시스템을 읽기 전용으로 유지합니다. 이중 쓰기 시나리오의 경우, 빠른 복구를 위해 기능 플래그 뒤에서 쓰기를 제어합니다. 필요한 경우 CDC 변경 사항을 재실행하거나 되돌릴 수 있도록 일관된 체크포인트를 유지합니다.
- 마이그레이션 검증:
- 구조적 검증: 행 수와 파티션별 체크섬이 일치하는지, 스키마와 제약 조건이 동등한지 확인합니다.
- 시간적 검증: 스냅샷 경계에서 컷오버까지 데이터 격차가 없는지, CDC 위치가 연속적인지 확인합니다.
- 비즈니스 패리티 검증: 특정 기간 동안의 집계 및 KPI를 비교하고, 인수 쿼리를 실행합니다.
- 성능 검증: 수집 처리량, 쿼리 지연 시간, 비용이 예산에 부합하는지 검증합니다.
실제 문제 시나리오
Northstar Retail은 거의 실시간 분석 및 머신러닝을 지원하기 위해 전 세계에 분산된 온프레미스 Oracle 및 MySQL 트랜잭션 시스템, SaaS CRM 이벤트, 매일 제공되는 CSV 파일을 Google Cloud로 통합해야 합니다. 또한 높은 블록 스토리지 비용 없이 레거시 Hadoop 클러스터를 마이그레이션하고, 무중단 또는 최소 중단으로 컷오버를 달성해야 합니다.
- 안전한 하이브리드 연결 설정
- 기본 대역폭에는 Partner Interconnect를 사용하고 장애 조치용으로 Cloud VPN을 사용합니다. 온프레미스 워크로드가 Cloud Storage 및 Pub/Sub에 비공개로 액세스할 수 있도록 Private Google Access를 활성화합니다. 근거: 비공개 경로는 이그레스 노출과 지연 시간을 최소화하며, Private Google Access는 보안 정책을 충족하면서 공인 IP 요구사항을 피할 수 있게 해줍니다.
- 기록 데이터를 효율적으로 시딩
- 800TB의 기록 HDFS 데이터는 Transfer Appliance를 사용하여 Cloud Storage로 복사합니다(초기 대량). 시딩 후에는 컷오버까지 온프레미스 NFS 익스포트에서 매일 Storage Transfer Service를 실행하여 변경 사항을 가져옵니다. 근거: Transfer Appliance는 장시간의 네트워크 포화를 방지하고, STS는 예약된 체크섬 기반 증분 동기화를 제공합니다. GCS 커넥터를 사용하여 Cloud Storage에 저장하면 노드당 50TB의 Persistent Disk 없이 Dataproc 처리가 가능합니다.
- CDC를 사용하여 운영 데이터베이스 마이그레이션
- DMS를 사용하여 최소한의 다운타임으로 MySQL 및 PostgreSQL을 마이그레이션합니다. Oracle에서 분석 시스템으로의 CDC를 위해서는 Datastream을 사용하여 Cloud Storage에 랜딩한 후, Google에서 제공하는 Dataflow 템플릿을 사용하여 BigQuery로 로드합니다. 근거: DMS는 신뢰할 수 있는 스냅샷 + 지속적인 동기화를 위해 네이티브 복제를 활용합니다. Datastream은 커밋 메타데이터와 함께 서버리스 CDC를 제공하며, Dataflow 템플릿은 순서가 보장되고 멱등성을 갖는 BigQuery 쓰기를 보장합니다.
- SaaS 및 파일 기반 피드 수집
- 증분 토큰을 사용하는 CRM 이벤트용 SaaS 커넥터와, STS를 통해 공급업체 SFTP에서 매일 CSV를 수집하는 파일 파이프라인을 사용하여 Cloud Data Fusion 파이프라인을 구축합니다. 큐레이션된 Cloud Storage 버킷에서 Avro로 정규화한 다음, 파티셔닝된 BigQuery 테이블에 로드합니다. 근거: Data Fusion은 커넥터, 변환, 리니지를 중앙에서 관리합니다. Avro로 표준화하면 스키마가 보존되고 진화가 용이해지며, 파티셔닝된 BigQuery 테이블은 쿼리 비용을 절감합니다.
- 실시간 이벤트 스트리밍
- 웹 및 스토어 이벤트를 Pub/Sub에 게시합니다. Dataflow로 파싱, 검증, 보강, 워터마킹을 처리하고, Storage Write API를 통해 BigQuery에 쓰고 원시 Avro는 Cloud Storage에 아카이브합니다. 근거: Pub/Sub은 생산자와 소비자를 분리합니다. Dataflow는 자동 확장, 상태 기반 처리, 체크포인트, 지연 데이터 처리를 제공합니다. 이중 쓰기는 짧은 지연 시간의 분석과 내구성 있는 원시 데이터 보존을 모두 보장합니다.
- 경계에서 데이터 품질 및 스키마 제어 적용
- Dataflow/Data Fusion에서 스키마 레지스트리 및 검증을 구현합니다. 형식이 잘못된 레코드는 GCS 격리 버킷과 Pub/Sub 데드-레터 토픽으로 라우팅합니다. 도메인 검사(예: 통화 코드, UTC 타임스탬프)를 적용하고 복합 키를 사용하여 중복을 제거합니다. 근거: 조기 거부 및 격리는 잘못된 데이터가 전파되는 것을 방지합니다. 멱등성 및 중복 제거는 CDC 및 스트리밍 소스의 최소 한 번 전송(at-least-once delivery) 시나리오로부터 데이터를 보호합니다.
- 분석 스토리지 및 액세스 최적화
- 큐레이션된 데이터 세트를 파티셔닝 및 클러스터링된 BigQuery 테이블에 로드합니다. 원시 아카이브는 빈도가 낮은 탐색을 위해 영구 외부 테이블로 노출합니다. 트랜잭션 처리가 계속 필요한 OLTP 워크로드의 경우, 읽기 복제본과 함께 Cloud SQL을 유지합니다. 근거: 파티셔닝과 클러스터링은 스캔 비용을 최소화합니다. 외부 테이블은 가끔씩의 액세스를 위한 불필요한 로드를 방지합니다. Cloud SQL은 트랜잭션 앱을 위한 ACID 의미 체계를 보존합니다.
- 컷오버, 백필, 롤백 계획
- 각 RDBMS에 대해 스냅샷 + CDC를 실행하여 행 수와 체크섬이 일치하는 조정 지점에 도달합니다. 48시간 동안 이중 쓰기로 블루/그린을 실행하며, 읽기 작업을 점진적으로 BigQuery로 전환합니다. 불일치가 감지될 경우 쓰기를 되돌릴 수 있도록 기능 플래그를 유지합니다. 근거: 블루/그린 방식은 위험을 줄여줍니다. 알려진 워터마크에서의 검증은 완전성을 보장합니다. 플래그는 신속한 롤백을 가능하게 합니다.
- 검증 및 관측 가능성
- 소스 LSN/SCN, 커밋 타임스탬프, 행 수, 파티션별 체크섬을 캡처하는 제어 테이블을 구축합니다. Datastream 지연, DMS 복제 상태, Dataflow 워터마크, Pub/Sub 백로그, STS 작업 상태, BigQuery 스트리밍 삽입 측정항목을 모니터링합니다. 근거: 엔드-투-엔드 리니지와 정량적 제어는 감사 가능한 정확성 증명을 제공하고, 데이터 격차나 지연 발생 시 시기적절한 알림을 보장합니다.
랜딩, 큐레이션, 서빙 레이어를 분리하고, Cloud Storage를 내구성 있고 저렴한 스테이징 및 아카이브로 사용하며, 멱등성 있는 소비자와 함께 CDC를 위해 DMS/Datastream을 활용하고, 인그레스에서 스키마와 품질을 강제함으로써, Northstar Retail은 안전하고 확장 가능한 수집과 예측 가능한 비용으로 위험이 낮고 검증 가능한 마이그레이션을 달성합니다.
← Spark · 모든 도메인 · 워크플로 오케스트레이션 및 파이프라인 자동화 →
이 문제 연습하기 → · ExamRoll.io에서 시간 제한 연습 →
Pass the whole exam — not just this question
You found this answer. Get every verified question and explanation in one place, and save hours of prep. Free to start.
시험 합격하기 →