Necesita un entorno de análisis rentable para que los científicos de datos puedan consultar archivos ORC con particiones de estilo Hive usando SQL, sin afectar a Hive on-prem. ¿Qué debe hacer?

La opción correcta es copiar los archivos ORC a Cloud Storage y luego crear tablas externas de BigQuery. Esto permite a los científicos de datos consultar los archivos ORC directamente usando SQL en BigQuery, sin necesidad de mover los datos a BigQuery ni de un clúster de Hive. BigQuery es un servicio de análisis rentable y sin servidor que puede consultar datos en Cloud Storage. Importar a Bigtable no es adecuado porque Bigtable es una base de datos NoSQL de clave-valor, no optimizada para consultas SQL analíticas sobre archivos ORC. Importar a BigQuery sería costoso y redundante, ya que BigQuery puede consultar los datos directamente en Cloud Storage. Implementar un clúster de Dataproc sería más costoso y requeriría gestión de infraestructura, lo que va en contra del requisito de rentabilidad y simplicidad.