Je hebt Spark ML-modellen voor click-through-voorspelling en moet de training lift-and-shift uitvoeren naar Google Cloud, terwijl je trainingsgegevens uit BigQuery leest. Wat moet je doen?

De correcte optie is om Dataproc te gebruiken om de bestaande Spark ML-modellen te trainen, waarbij gegevens rechtstreeks uit BigQuery worden gelezen. Dataproc is de managed Spark-service van Google Cloud en is ideaal voor het uitvoeren van bestaande Spark ML-workloads zonder herschrijving. Het kan efficiënt gegevens uit BigQuery lezen via de BigQuery connector voor Spark, wat een lift-and-shift scenario ondersteunt. Vertex AI is een platform voor machine learning, maar het direct trainen van bestaande Spark ML-modellen is niet de primaire functie; het is meer gericht op TensorFlow, PyTorch, scikit-learn, etc. Het herschrijven van modellen naar TensorFlow is onnodig en gaat in tegen het 'lift-and-shift' principe. Het provisioneren van een Spark-cluster op Compute Engine en het exporteren van gegevens uit BigQuery is minder efficiënt en meer beheerintensief dan het gebruik van Dataproc met directe BigQuery-integratie.