Migre um job em lote do Apache Spark 3 on-prem (executores: 8 vCPU, 16 GB) para o GCP com alterações mínimas, capacidade de escolher recursos semelhantes e sobrecarga mínima de gerenciamento; o job lê do Cloud Storage e grava no BigQuery.

Dataproc Serverless é a melhor opção porque oferece um ambiente gerenciado para executar jobs Spark sem a necessidade de provisionar ou gerenciar clusters. Isso garante sobrecarga mínima de gerenciamento e permite que você especifique os recursos (vCPUs e memória) para cada job, replicando a configuração on-premise de 8 vCPUs e 16 GB. O GKE exigiria a criação e manutenção de um cluster Kubernetes, aumentando a sobrecarga de gerenciamento. Uma VM do Compute Engine exigiria a instalação e configuração manual do Spark, além do gerenciamento da infraestrutura. Um novo cluster Dataproc, embora gerenciado, ainda exige que você pense no dimensionamento e na manutenção do cluster, o que o Dataproc Serverless abstrai completamente.