Tiene modelos de Spark ML para la predicción de clics y debe realizar un lift-and-shift del entrenamiento a Google Cloud mientras lee los datos de entrenamiento de BigQuery. ¿Qué debería hacer?

La opción correcta es usar Dataproc porque es el servicio gestionado de Google Cloud para ejecutar cargas de trabajo de Apache Spark. Permite ejecutar modelos de Spark ML existentes sin reescritura significativa y puede leer datos directamente desde BigQuery de manera eficiente, lo que se alinea perfectamente con los requisitos de "lift-and-shift". Reescribir los modelos en TensorFlow sería un esfuerzo considerable y no un "lift-and-shift". Aprovisionar un clúster de Spark en Compute Engine requeriría más gestión manual y la exportación de datos de BigQuery añadiría un paso innecesario y menos eficiente que la lectura directa. Usar Vertex AI para entrenar modelos de Spark ML no es su caso de uso principal; Vertex AI se centra más en frameworks como TensorFlow y PyTorch.