온프레미스 Apache Spark 3 배치 작업(executor: 8 vCPU, 16 GB)을 최소한의 변경으로, 유사한 리소스를 선택할 수 있는 기능과 최소한의 관리 오버헤드로 GCP로 마이그레이션해야 합니다. 이 작업은 Cloud Storage에서 데이터를 읽고 BigQuery에 데이터를 씁니다.

Dataproc Serverless는 Apache Spark 워크로드를 위한 완전 관리형 서버리스 플랫폼으로, 인프라 프로비저닝 및 관리가 필요 없어 관리 오버헤드를 최소화합니다. 온프레미스 Spark 3 배치 작업을 최소한의 변경으로 마이그레이션하면서 유사한 리소스 선택 기능과 서버리스의 이점을 모두 제공합니다. Cloud Storage에서 데이터를 읽고 BigQuery에 쓰는 작업에 적합합니다. 새 GKE 클러스터에서 작업을 실행하는 것은 Spark 환경을 직접 구성하고 관리해야 하므로 관리 오버헤드가 더 큽니다. Compute Engine VM에서 작업을 실행하는 것은 Spark 클러스터를 수동으로 설정하고 관리해야 하므로 관리 오버헤드가 가장 큽니다. 새 Dataproc 클러스터에서 작업을 실행하는 것은 관리형 서비스이지만, 클러스터 프로비저닝 및 관리가 여전히 필요하여 Dataproc Serverless보다 관리 오버헤드가 높습니다.