您需要一个管道将时间序列事务数据复制到 BigQuery 进行分析。数据集初始大小为 1.5 PB,每天增长 3 TB;每小时有数千个事务更新其新状态。数据结构严谨,用于机器学习。为了最大限度地提高性能和可用性,您会采用哪两种策略?
选择一个答案
点击一个选项来检查您的答案。
正确答案: 尽可能地对数据进行非规范化。, 开发一个数据管道,将状态更新附加到 BigQuery 而不是进行更新。.
为什么这是答案
对于 BigQuery,非规范化数据可以显著提高查询性能,因为它减少了连接操作的需要,这在处理大规模数据集时尤其重要。BigQuery 内部使用列式存储,非规范化数据能更好地利用这一特性。将状态更新作为新记录附加到 BigQuery 而不是执行 UPDATE 操作,是处理时间序列数据和频繁更新的推荐模式。BigQuery 针对追加操作进行了优化,而 UPDATE 操作(尤其是对大型表)效率较低且成本更高,因为它涉及重写数据。保留数据结构(即保持规范化)会增加查询复杂性和开销。使用 BigQuery UPDATE 减少数据集大小与 BigQuery 的最佳实践相悖。将每日快照存储在 Cloud Storage 并作为外部表查询会引入额外的延迟和性能开销,不适合需要高性能和高可用性的场景。
通过考试 — 无需无休止地寻找答案
将本次考试的所有验证问题和解释集中在一处,节省数小时的准备时间。1,000+ 认证 · 20+ 语言 · 免费开始。
更快通过考试 → 无需银行卡