Você precisa de um ambiente de análise econômico para que os cientistas de dados possam consultar arquivos ORC com particionamento estilo Hive usando SQL, sem afetar o Hive on-prem. O que você deve fazer?

A opção correta é copiar os arquivos ORC para o Cloud Storage e criar tabelas BigQuery externas. Isso permite que os cientistas de dados consultem os arquivos ORC diretamente no Cloud Storage usando SQL no BigQuery, sem a necessidade de importar os dados ou gerenciar um cluster. O BigQuery suporta o particionamento estilo Hive e é econômico por ser sem servidor. Importar para o Bigtable não é adequado, pois o Bigtable é um banco de dados NoSQL de chave-valor, não otimizado para consultas analíticas SQL em arquivos ORC. Importar para tabelas BigQuery seria uma opção, mas criar tabelas externas é mais econômico por não duplicar os dados e evitar custos de armazenamento gerenciado do BigQuery para os dados brutos. Implantar um cluster Dataproc seria mais caro e exigiria gerenciamento de infraestrutura, indo contra o requisito de um ambiente econômico.