Выполняется миграция локальной среды Hadoop в GCP с минимизацией изменений заданий и затрат на хранение. Какой подход следует использовать?

Правильный ответ — создание кластера Cloud Dataproc, перемещение данных в Cloud Storage и использование коннектора Cloud Dataproc. Cloud Dataproc — это управляемый сервис Hadoop и Spark, который позволяет запускать существующие задания Hadoop с минимальными изменениями. Перемещение данных в Cloud Storage обеспечивает масштабируемое и экономичное хранение, а коннектор Dataproc позволяет заданиям беспрепятственно обращаться к данным в Cloud Storage. Перенос данных HDFS в BigQuery и изменение заданий неоптимально, так как BigQuery является аналитическим хранилищем данных, а не заменой HDFS, и потребует значительных изменений в заданиях. Подготовка виртуальных машин Compute Engine с HDD и перенос кластера Hadoop методом lift-and-shift не использует преимущества управляемых сервисов и может быть дороже в управлении. Создание кластера Cloud Dataproc и перемещение данных HDFS на более крупные диски HDD не решает проблему масштабируемого и экономичного хранения, предлагаемого Cloud Storage.