Você tem modelos Spark ML para previsão de click-through e deve fazer o lift-and-shift do treinamento para o Google Cloud, lendo os dados de treinamento do BigQuery. O que você deve fazer?

A opção correta é usar o Dataproc para treinar os modelos Spark ML existentes, lendo os dados diretamente do BigQuery. O Dataproc é o serviço gerenciado do Google Cloud para Apache Spark e Hadoop, ideal para executar cargas de trabalho Spark ML sem a necessidade de reescrever o código. Ele se integra nativamente ao BigQuery, permitindo que os dados de treinamento sejam lidos diretamente, sem exportações intermediárias. Reescrever os modelos em TensorFlow (ou qualquer outra estrutura) seria um esforço desnecessário e custoso, pois os modelos Spark ML já existem e são funcionais. Usar o Vertex AI para treinar modelos Spark ML diretamente não é a abordagem mais eficiente, pois o Vertex AI é otimizado para frameworks como TensorFlow e PyTorch, e não para Spark ML nativamente. Provisionar um cluster Spark no Compute Engine e exportar dados do BigQuery adicionaria complexidade de gerenciamento e etapas manuais desnecessárias, além de custos de armazenamento e transferência de dados.