将本地 Apache Spark 3 批处理作业(执行器:8 vCPU,16 GB)迁移到 GCP,要求改动最小、能够选择相似资源且管理开销最小;该作业从 Cloud Storage 读取数据并写入 BigQuery。
选择一个答案
点击一个选项来检查您的答案。
正确答案: 使用 Dataproc Serverless 运行作业。.
为什么这是答案
Dataproc Serverless 是最佳选择,因为它提供完全托管的 Spark 环境,无需管理底层基础设施,从而实现最小的管理开销。它支持 Spark 3,允许您选择相似的资源配置(8 vCPU,16 GB),并且与 Cloud Storage 和 BigQuery 无缝集成。 其他选项的缺点: 在新 GKE 集群上运行作业:虽然 GKE 可以运行 Spark,但您需要手动配置和管理 Spark 集群,这会增加管理开销。 在 Compute Engine VM 上运行作业:这需要您手动设置和维护整个 Spark 环境,包括操作系统、Spark 软件和集群管理,管理开销最大。 在新 Dataproc 集群上运行作业:Dataproc 集群比 Dataproc Serverless 需要更多的管理,因为您仍然需要管理集群的生命周期和配置。
通过考试 — 无需无休止地寻找答案
将本次考试的所有验证问题和解释集中在一处,节省数小时的准备时间。1,000+ 认证 · 20+ 语言 · 免费开始。
更快通过考试 → 无需银行卡