У вас есть модели Spark ML для прогнозирования кликов, и вам необходимо перенести обучение в Google Cloud, считывая обучающие данные из BigQuery. Что вы должны сделать?

Dataproc — это управляемый сервис Apache Spark и Hadoop в Google Cloud, который позволяет запускать существующие рабочие нагрузки Spark без переписывания кода. Он может напрямую считывать данные из BigQuery, что делает его идеальным решением для переноса обучения моделей Spark ML. Vertex AI предназначен для обучения моделей машинного обучения, но он не поддерживает нативное обучение Spark ML. Переписывание моделей на TensorFlow потребует значительных усилий и времени. Развертывание кластера Spark на Compute Engine вручную увеличит операционные накладные расходы по сравнению с использованием управляемого сервиса Dataproc, а экспорт данных из BigQuery добавит лишний шаг и потенциально увеличит задержку.