ANSI SQL, 압축, 그리고 Google 모범 사례에 따른 병렬 로딩을 지원해야 하는 매우 큰 텍스트 파일의 경우, 어떤 스토리지/형식 파이프라인을 사용해야 할까요?

정답은 대규모 텍스트 파일을 처리하고 BigQuery에서 효율적으로 쿼리하기 위한 Google Cloud의 모범 사례를 따릅니다. Cloud Dataflow는 대규모 데이터 변환에 이상적이며, 텍스트 파일을 압축된 Avro 형식으로 변환하면 저장 공간을 절약하고 BigQuery 쿼리 성능을 향상시킬 수 있습니다. Avro는 스키마를 포함하여 데이터 진화를 지원하며, 압축은 비용 효율적입니다. Cloud Storage에 저장하는 것은 내구성과 확장성을 제공하며, BigQuery 외부 테이블로 노출하면 데이터를 BigQuery로 직접 로드하지 않고도 쿼리할 수 있어 유연성이 높습니다. 오답 설명: 첫 번째 오답은 Avro로 변환 후 BigQuery에 직접 저장하는 것을 제안하지만, 외부 테이블 방식이 더 유연하고 데이터 중복을 피할 수 있습니다. 세 번째 오답은 그리드 컴퓨팅 도구와 gzip 압축을 제안하는데, Dataflow가 더 관리되고 확장 가능한 솔루션이며, Avro가 gzip보다 BigQuery에서 쿼리하기에 더 효율적인 경우가 많습니다. 네 번째 오답은 Cloud Bigtable을 사용하는데, Bigtable은 시계열 데이터나 단일 행 액세스에 최적화된 NoSQL 데이터베이스이므로, 분석 쿼리에는 BigQuery가 더 적합합니다.