Migre un trabajo por lotes de Apache Spark 3 on-prem (ejecutores: 8 vCPU, 16 GB) a GCP con cambios mínimos, capacidad de elegir recursos similares y una sobrecarga de administración mínima; el trabajo lee desde Cloud Storage y escribe en BigQuery.

Dataproc Serverless es la opción más adecuada porque permite ejecutar trabajos de Spark sin aprovisionar ni administrar clústeres, lo que minimiza la sobrecarga administrativa. Además, ofrece recursos escalables automáticamente que se ajustan a los requisitos del trabajo (8 vCPU, 16 GB), garantizando un rendimiento óptimo y un modelo de pago por uso. Ejecutar en un nuevo clúster de GKE implicaría la gestión de Kubernetes y la configuración de Spark, lo que aumenta la sobrecarga administrativa. Ejecutar en una VM de Compute Engine requeriría la instalación y configuración manual de Spark, además de la gestión de la máquina virtual, lo cual es menos eficiente. Un nuevo clúster de Dataproc tradicional, aunque gestionado, aún requiere la selección de tipos de máquina y el dimensionamiento del clúster, lo que no cumple con el requisito de "mínima sobrecarga de administración" tan bien como la opción Serverless.