Вам нужна экономичная аналитическая среда, чтобы специалисты по данным могли запрашивать файлы ORC с разбиением на разделы в стиле Hive с помощью SQL, не влияя на локальный Hive. Что вы должны сделать?

Правильный ответ — «Скопировать файлы ORC в Cloud Storage, затем создать внешние таблицы BigQuery для команды специалистов по данным». Это решение является экономичным, поскольку BigQuery автоматически управляет инфраструктурой и позволяет запрашивать данные ORC, хранящиеся в Cloud Storage, без перемещения их в хранилище BigQuery. Внешние таблицы BigQuery идеально подходят для запросов к данным в стиле Hive с помощью SQL, не влияя на существующий локальный Hive. Импорт файлов ORC в таблицы Bigtable не подходит, так как Bigtable — это база данных NoSQL, не предназначенная для аналитических запросов SQL к данным ORC. Импорт файлов ORC в таблицы BigQuery возможен, но менее экономичен, так как данные будут храниться в BigQuery, что может повлечь дополнительные расходы. Развертывание кластера Dataproc для запросов к файлам ORC в Cloud Storage возможно, но Dataproc требует управления кластером и, как правило, дороже, чем бессерверный BigQuery для таких задач.