GoogleGoogle Professional Data Engineer (PDE) Certification
·CN
·更新于 21 Aug 2026
新应用每天生成约 150 GB 的 JSON 数据,预计到年底。要求:解耦生产者/消费者,经济高效的无限原始存储,近实时 SQL,以及 2 年以上的可 SQL 查询历史记录。哪种摄取和存储管道能满足这些需求?
选择一个答案
点击一个选项来检查您的答案。
正确答案: 将事件发布到 Cloud Pub/Sub,并使用 Dataflow 管道将 JSON 转换为 Avro,写入 Cloud Storage 和 BigQuery。.
为什么这是答案
此方案满足所有需求。Cloud Pub/Sub 解耦了生产者和消费者,并处理了高吞吐量数据流。Dataflow 提供了无服务器、可扩展的近实时处理能力,将 JSON 转换为优化的 Avro 格式。将数据写入 Cloud Storage 提供了经济高效的无限原始存储,而写入 BigQuery 则实现了近实时 SQL 查询和超过两年的历史数据查询。其他选项的不足在于:API 和轮询器效率低下,且不满足解耦要求;直接写入 Cloud SQL 不适合大量非结构化数据,且导出到 BigQuery 增加了复杂性;Dataproc 上的 HDFS 持久磁盘不是无限存储,也无法直接提供近实时 SQL 查询。
通过考试 — 无需无休止地寻找答案
将本次考试的所有验证问题和解释集中在一处,节省数小时的准备时间。1,000+ 认证 · 20+ 语言 · 免费开始。
更快通过考试 →
无需银行卡