Вы перенесли файлы ORC в бакет Cloud Storage и хотите использовать Hive на кластере Dataproc, опционально реплицируя данные в HDFS для повышения производительности. Какие два метода позволяют начать использовать Hive на Dataproc? (Выберите два.)

Правильный ответ — "Запустить gsutil для передачи всех файлов ORC из бакета Cloud Storage на главный узел, затем использовать утилиты Hadoop для копирования их в HDFS и смонтировать таблицы Hive из HDFS". Этот метод позволяет вручную перенести данные в HDFS кластера Dataproc, что обеспечивает локальную производительность и прямой доступ к данным через Hive. Также правильный ответ — "Использовать коннектор Cloud Storage для Hadoop, чтобы представить файлы ORC как внешние таблицы Hive, а затем реплицировать эти внешние таблицы в нативные таблицы Hive". Этот подход использует коннектор Cloud Storage для прямого доступа к данным в Cloud Storage, что является рекомендуемым способом работы с внешними данными в Dataproc. Репликация в нативные таблицы Hive (т.е. в HDFS) опциональна и улучшает производительность. Остальные варианты неверны: Передача файлов напрямую в HDFS с помощью gsutil невозможна, так как gsutil работает с Cloud Storage и локальной файловой системой, а не напрямую с HDFS. Передача файлов на любой узел Dataproc без последующего копирования в HDFS не сделает их доступными для Hive как локальные данные. Использование BigQuery как промежуточного звена для Hive не является прямым методом работы с ORC-файлами в Cloud Storage и добавляет ненужную сложность.