Você precisa migrar milhares de jobs on-prem do Apache Spark para o Google Cloud usando serviços gerenciados, minimizando as alterações de código e agindo rapidamente. Qual é a abordagem de migração?

A migração para o Cloud Storage e a execução no Dataproc é a abordagem mais eficiente. O Dataproc é um serviço gerenciado para Apache Spark, Hadoop e outros frameworks de big data, permitindo que você execute seus jobs Spark existentes com alterações mínimas de código. O Cloud Storage oferece um armazenamento escalável e durável para seus dados, que pode ser facilmente acessado pelo Dataproc. Converter para SQL no BigQuery exigiria reescrever completamente a lógica dos jobs Spark, o que é demorado e não minimiza as alterações de código. Reescrever para Apache Beam e executar no Dataflow também implica uma reescrita significativa, não atendendo ao requisito de rapidez e mínima alteração de código. Copiar dados para discos do Compute Engine e gerenciar jobs manualmente não é uma solução gerenciada e aumenta a sobrecarga operacional.