Vous avez des modèles Spark ML pour la prédiction de clics et devez transférer la formation (lift-and-shift) vers Google Cloud tout en lisant les données d'entraînement depuis BigQuery. Que devez-vous faire ?

L'option correcte est d'utiliser Dataproc pour entraîner les modèles Spark ML existants, en lisant les données directement depuis BigQuery. Dataproc est le service géré de Google Cloud pour Apache Spark, Hadoop et d'autres outils de l'écosystème Big Data. Il permet de "lift-and-shift" des charges de travail Spark existantes avec un minimum de modifications. L'intégration native de Dataproc avec BigQuery permet de lire les données d'entraînement directement, évitant ainsi des étapes d'exportation complexes. Utiliser Vertex AI pour entraîner les modèles Spark ML existants n'est pas idéal car Vertex AI est principalement conçu pour les frameworks de ML comme TensorFlow, PyTorch, et scikit-learn, et ne supporte pas nativement l'exécution de Spark ML sans une couche d'intégration supplémentaire. Réécrire les modèles en TensorFlow est une refonte majeure, pas un "lift-and-shift". Provisionner un cluster Spark sur Compute Engine est possible, mais Dataproc est une solution plus gérée et optimisée, et exporter les données de BigQuery introduit des étapes inutiles et des coûts supplémentaires.