你需要一个Apache Beam管道,用来自BigQuery的小型静态参考数据(可放入worker内存)来丰富Cloud Pub/Sub消息,并将丰富后的行写入BigQuery。你应该使用哪种作业类型和转换?
选择一个答案
点击一个选项来检查您的答案。
正确答案: Streaming job, PubSubIO, BigQueryIO, side-inputs.
为什么这是答案
此场景需要实时处理来自Cloud Pub/Sub的消息,因此必须使用“Streaming job”。“PubSubIO”用于从Pub/Sub读取数据。由于需要用BigQuery中的静态参考数据来“丰富”消息,并且这些数据可以放入worker内存,因此“side-inputs”是高效且推荐的方式来将这些参考数据引入Beam管道。最后,“BigQueryIO”用于将处理后的数据写入BigQuery。 “Batch job”不适用于实时消息处理。 “JdbcIO”用于连接JDBC兼容的数据库,而不是BigQuery。 “side-outputs”用于将主管道中过滤或拆分的数据发送到不同的PCollection,而不是用于引入参考数据进行丰富。
通过考试 — 无需无休止地寻找答案
将本次考试的所有验证问题和解释集中在一处,节省数小时的准备时间。1,000+ 认证 · 20+ 语言 · 免费开始。
更快通过考试 → 无需银行卡