Migre o Hadoop on-prem para uma solução de nuvem gerenciada, tolerante a falhas e econômica para jobs em lote de longa duração. O que você deve implantar?

A opção correta é a mais econômica e gerenciada para jobs em lote de longa duração. O Dataproc é um serviço gerenciado que simplifica a execução de clusters Hadoop/Spark. Usar discos persistentes padrão é mais barato que SSDs e adequado para jobs em lote que não exigem latência de I/O extremamente baixa. Workers preemptivos reduzem significativamente o custo, sendo ideais para jobs tolerantes a falhas. Armazenar dados no Cloud Storage desacopla o armazenamento da computação, oferecendo durabilidade, escalabilidade e menor custo, além de ser o padrão para o Dataproc. A atualização dos scripts de hdfs:// para gs:// é necessária para usar o Cloud Storage. A opção com discos SSD é mais cara sem um benefício proporcional para jobs em lote. Instalar Hadoop/Spark diretamente no Compute Engine aumenta a sobrecarga de gerenciamento e não oferece os benefícios de um serviço gerenciado como o Dataproc. Usar nós preemptivos do Compute Engine com HDFS local não é tolerante a falhas para o armazenamento e não é a abordagem recomendada para a nuvem.