Мигрируйте пакетное задание Apache Spark 3 (исполнители: 8 vCPU, 16 ГБ) из локальной среды в GCP с минимальными изменениями, возможностью выбора аналогичных ресурсов и минимальными накладными расходами на управление; задание читает данные из Cloud Storage и записывает в BigQuery.

Dataproc Serverless для Spark — это оптимальный выбор, поскольку он предоставляет управляемую бессерверную среду для запуска заданий Spark, что обеспечивает минимальные накладные расходы на управление. Он автоматически масштабирует ресурсы в соответствии с потребностями задания и позволяет легко указывать необходимые ресурсы (8 vCPU, 16 ГБ) для исполнителей. Интеграция с Cloud Storage и BigQuery является нативной. Запуск задания в новом кластере GKE потребует значительных усилий по настройке и управлению кластером Kubernetes, что противоречит требованию минимальных накладных расходов. Запуск на виртуальной машине Compute Engine также потребует ручной установки и настройки Spark, а также управления ресурсами, что не является бессерверным решением. Новый кластер Dataproc, хотя и является управляемым, все же требует создания и управления кластером, в то время как Dataproc Serverless устраняет эту необходимость.