클릭률 예측을 위한 Spark ML 모델이 있으며, BigQuery에서 학습 데이터를 읽으면서 학습을 Google Cloud로 리프트 앤 시프트해야 합니다. 어떻게 해야 할까요?

정답은 Dataproc을 사용하여 기존 Spark ML 모델을 학습시키고, BigQuery에서 직접 데이터를 읽는 것입니다. Dataproc은 Google Cloud에서 Spark 작업을 실행하기 위한 관리형 서비스이므로 기존 Spark ML 모델을 리프트 앤 시프트하는 데 가장 적합합니다. 또한 Dataproc은 BigQuery 커넥터를 통해 BigQuery에서 직접 데이터를 읽을 수 있어 데이터 이동을 최소화하고 효율성을 높입니다. Vertex AI는 주로 TensorFlow, PyTorch 등 딥러닝 프레임워크 기반 모델 학습에 최적화되어 있어 기존 Spark ML 모델을 그대로 사용하기 어렵습니다. 모델을 TensorFlow로 다시 작성하는 것은 불필요한 재작업이므로 비효율적입니다. Compute Engine에 Spark 클러스터를 직접 프로비저닝하는 것은 관리형 서비스인 Dataproc에 비해 운영 부담이 크고, BigQuery에서 데이터를 내보내는 것은 직접 읽는 것보다 복잡합니다.