Migrare un batch job Apache Spark 3 on-prem (executor: 8 vCPU, 16 GB) su GCP con modifiche minime, la possibilità di scegliere risorse simili e un overhead di gestione minimo; il job legge da Cloud Storage e scrive su BigQuery.

Dataproc Serverless è la soluzione ottimale perché offre un ambiente completamente gestito per i carichi di lavoro Spark, eliminando la necessità di gestire cluster. Questo risponde all'esigenza di "overhead di gestione minimo". Permette di specificare le risorse richieste (8 vCPU, 16 GB) in modo simile all'ambiente on-premise, garantendo "risorse simili". Inoltre, si integra nativamente con Cloud Storage e BigQuery, facilitando la lettura e scrittura dei dati con "modifiche minime" al codice Spark. Le altre opzioni sono meno adatte: Un cluster GKE richiederebbe la gestione manuale del cluster Kubernetes e dell'installazione Spark, aumentando l'overhead. Una VM Compute Engine richiederebbe l'installazione e la gestione completa di Spark e delle sue dipendenze, con un overhead elevato. Un nuovo cluster Dataproc (non serverless) ridurrebbe l'overhead rispetto a GKE o Compute Engine, ma richiederebbe comunque la gestione del cluster (scalatura, aggiornamenti), a differenza della versione Serverless.