Pub/Sub 显示所有已发布的 JSON 消息,但使用 Cloud Dataflow 构建的实时控制面板缺少某些消息。接下来您应该怎么做?
选择一个答案
点击一个选项来检查您的答案。
正确答案: 通过 Cloud Dataflow 流水线运行固定(已知)数据集,并检查流水线输出。.
为什么这是答案
此方法通过使用已知输入来隔离问题。如果使用固定数据集运行 Dataflow 流水线后输出仍然缺少消息,则问题出在 Dataflow 流水线本身(例如,转换逻辑错误或数据丢失)。如果输出正确,则问题可能出在 Pub/Sub 源或数据生成方。 检查控制面板应用程序是否存在显示错误:虽然这可能是问题的一部分,但首先排除数据处理层的问题更为关键。如果数据没有到达控制面板,则显示错误不是根本原因。 使用 Cloud Pub/Sub 上的 Stackdriver Monitoring 来查找丢失的消息:Stackdriver Monitoring 可以显示 Pub/Sub 的吞吐量和错误,但不能直接识别哪些特定消息丢失或为什么它们没有被 Dataflow 处理。 将 Cloud Dataflow 更改为从 Cloud Pub/Sub 拉取,而不是使用 Pub/Sub 推送到 Dataflow:这是一种配置更改,可能无法解决根本的数据丢失问题。在更改架构之前,最好先诊断问题所在。
通过考试 — 无需无休止地寻找答案
将本次考试的所有验证问题和解释集中在一处,节省数小时的准备时间。1,000+ 认证 · 20+ 语言 · 免费开始。
更快通过考试 → 无需银行卡