Você precisa migrar um cluster Hadoop de 30 nós para a nuvem, reutilizar jobs Hadoop existentes, minimizar o gerenciamento do cluster e persistir os dados além do tempo de vida do cluster. O que você deve fazer?

A opção correta é criar um cluster do Cloud Dataproc que use o conector do Google Cloud Storage. O Cloud Dataproc é um serviço gerenciado do Google Cloud para Apache Hadoop e Spark, permitindo a reutilização de jobs Hadoop existentes e minimizando o gerenciamento do cluster. Ao usar o conector do Google Cloud Storage, os dados são armazenados de forma persistente no GCS, desacoplando o armazenamento do processamento e garantindo que os dados permaneçam disponíveis mesmo após o cluster ser encerrado. As outras opções são menos ideais: Criar um job do Google Cloud Dataflow não permite a reutilização direta de jobs Hadoop existentes. Criar um cluster do Google Cloud Dataproc que use discos persistentes para HDFS persistiria os dados, mas o HDFS em discos persistentes ainda está acoplado ao cluster, exigindo mais gerenciamento e não sendo a melhor prática para persistência a longo prazo no Google Cloud. Criar um cluster Hadoop no Google Compute Engine que use discos persistentes ou Local SSD exigiria gerenciamento manual do cluster e não ofereceria os benefícios de um serviço gerenciado como o Dataproc. Discos Local SSD não são persistentes além do tempo de vida da VM.