Hai modelli Spark ML per la previsione dei clic e devi eseguire un lift-and-shift del training su Google Cloud, leggendo i dati di training da BigQuery. Cosa dovresti fare?

L'opzione corretta è usare Dataproc per addestrare i modelli Spark ML esistenti, leggendo i dati direttamente da BigQuery. Dataproc è il servizio gestito di Google Cloud per Apache Spark e Hadoop, ideale per eseguire carichi di lavoro Spark ML. Permette di connettersi direttamente a BigQuery per leggere i dati di training, semplificando il lift-and-shift senza riscrivere il codice. Le altre opzioni sono meno efficienti o non adatte: Vertex AI è una piattaforma ML unificata, ma non è la scelta primaria per eseguire direttamente modelli Spark ML esistenti senza modifiche significative. Riscrivere i modelli in TensorFlow è un lavoro eccessivo e non necessario per un lift-and-shift. Eseguire il provisioning di un cluster Spark su Compute Engine richiede una gestione manuale significativa del cluster, che Dataproc automatizza, e l'esportazione dei dati da BigQuery aggiunge un passaggio inutile rispetto alla lettura diretta.