GoogleGoogle Professional Data Engineer (PDE) Certification
·CN
·更新于 21 Aug 2026
设计一个数据管道,该管道能够自动扩缩、提供至少一次处理,并在1小时窗口内保留消息顺序。您应该使用哪种架构?
选择一个答案
点击一个选项来检查您的答案。
正确答案: 使用 Cloud Pub/Sub 进行消息摄取,并使用 Cloud Dataflow 进行流式分析。.
为什么这是答案
此架构结合了Cloud Pub/Sub和Cloud Dataflow的优势,完美满足了所有要求。Cloud Pub/Sub是一个完全托管的全球性消息队列服务,提供自动扩缩和至少一次消息投递保证。Cloud Dataflow是一个完全托管的统一流批处理服务,基于Apache Beam,能够自动扩缩,并支持窗口操作(如1小时窗口)和消息顺序保留(通过Watermark和事件时间处理)。
其他选项不理想:
使用Cloud Dataproc进行流式分析通常需要手动管理集群扩缩,且在处理乱序事件和保证消息顺序方面不如Cloud Dataflow强大。
Apache Kafka虽然在消息摄取方面表现出色,但它是一个自管理的开源系统,需要用户自行部署、维护和扩缩,这与“自动扩缩”的要求不符,且在Google Cloud环境中,Cloud Pub/Sub是更原生的托管解决方案。
通过考试 — 无需无休止地寻找答案
将本次考试的所有验证问题和解释集中在一处,节省数小时的准备时间。1,000+ 认证 · 20+ 语言 · 免费开始。
更快通过考试 →
无需银行卡