데이터 과학자가 온프레미스 Hive에 영향을 주지 않으면서 SQL을 사용하여 Hive 스타일 파티셔닝으로 ORC 파일을 쿼리할 수 있도록 비용 효율적인 분석 환경이 필요합니다. 어떻게 해야 할까요?

정답은 Cloud Storage에 ORC 파일을 복사한 다음, 데이터 과학자 팀을 위해 외부 BigQuery 테이블을 생성하는 것입니다. 이 방법은 기존 온프레미스 Hive 환경에 영향을 주지 않으면서 비용 효율적으로 SQL을 통해 ORC 파일을 쿼리할 수 있게 합니다. Cloud Storage는 확장 가능한 저렴한 스토리지 솔루션이며, BigQuery 외부 테이블은 데이터를 BigQuery로 가져오지 않고도 Cloud Storage에 있는 데이터를 직접 쿼리할 수 있도록 하여 스토리지 비용을 절감합니다. 오답 설명: Bigtable은 시계열 데이터나 IoT 데이터와 같은 고처리량/저지연 NoSQL 데이터베이스에 적합하며, SQL 쿼리나 Hive 스타일 파티셔닝에 대한 직접적인 지원이 부족합니다. BigQuery 테이블로 ORC 파일을 가져오는 것은 가능하지만, 이는 데이터 복사 및 저장 비용을 발생시켜 비용 효율적이지 않을 수 있습니다. 외부 테이블은 가져오기 없이 직접 쿼리할 수 있습니다. Dataproc 클러스터를 배포하는 것은 유효한 옵션이지만, BigQuery 외부 테이블보다 관리 오버헤드가 크고 비용이 더 많이 들 수 있습니다. BigQuery 외부 테이블은 서버리스 방식으로 작동하여 관리 부담을 줄입니다.