외부 파트너가 매일 GCS에 일부 형식이 잘못된 행이 포함된 CSV를 업로드합니다. 이 데이터를 BigQuery로 로드하고 잘못된 행을 검사해야 합니다. 어떤 파이프라인 설계가 적절할까요?

외부 파트너가 업로드하는 CSV에 잘못된 형식의 행이 포함되어 있고 이를 BigQuery로 로드하면서 오류를 검사해야 하는 상황입니다. Dataflow 배치 파이프라인은 이러한 요구사항을 충족하는 가장 적절한 솔루션입니다. Dataflow는 유연한 데이터 처리 기능을 제공하여 CSV 파일을 읽고, 각 행의 유효성을 검사하며, 유효한 데이터는 BigQuery로 로드하고, 잘못된 형식의 행은 별도의 데드 레터 테이블(dead-letter table)로 라우팅하여 나중에 분석할 수 있도록 합니다. 연합 데이터 소스는 BigQuery 외부의 데이터를 쿼리하는 데 사용되지만, 데이터 유효성 검사 및 오류 처리 로직을 직접 적용하기는 어렵습니다. Stackdriver 모니터링은 BigQuery 작업의 상태를 모니터링하고 알림을 생성하는 데 사용되지만, 데이터 자체의 유효성을 검사하고 오류를 분리하는 기능은 제공하지 않습니다. gcloud CLI를 사용하여 데이터를 가져올 때 maxbadrecords를 0으로 설정하면 잘못된 레코드가 하나라도 있으면 전체 로드 작업이 실패하므로, 부분적으로 유효한 데이터를 로드하고 오류를 격리해야 하는 요구사항을 충족하지 못합니다.