Migrar um cluster Spark/Hive/HDFS on-premise com tamanho flutuante e de pico para a nuvem em 2 meses, reduzir as operações e permitir a modernização serverless posterior. Qual abordagem de migração equilibra velocidade e economia de custos?

A migração para o Dataproc usando o Cloud Storage em vez do HDFS é a abordagem mais equilibrada para velocidade e economia. O Dataproc permite a migração rápida de cargas de trabalho Spark/Hive existentes com poucas alterações, aproveitando a compatibilidade com a API Hadoop. A substituição do HDFS pelo Cloud Storage é crucial para a economia de custos e a modernização, pois o Cloud Storage é um serviço de armazenamento de objetos escalável, durável e de baixo custo, que desacopla o armazenamento da computação, facilitando futuras arquiteturas serverless. As outras opções são menos ideais: preservar o HDFS no Dataproc não aproveita os benefícios de custo e escalabilidade do Cloud Storage. Modernizar o Hive para o BigQuery ou o Spark para o Dataflow imediatamente é uma transformação muito grande para o prazo de 2 meses e não atende ao requisito de "modernização posterior".