对于必须支持 ANSI SQL、压缩和并行加载的超大文本文件,根据 Google 最佳实践,您应该使用哪种存储/格式管道?
选择一个答案
点击一个选项来检查您的答案。
正确答案: 使用 Cloud Dataflow 将文本文件转换为压缩的 Avro 格式;将文件存储在 Cloud Storage 中,并将其作为永久外部表暴露给 BigQuery。.
为什么这是答案
正确答案利用了BigQuery的外部表功能,允许直接查询存储在Cloud Storage中的数据,而无需导入。Avro格式支持压缩,且是行式存储,适合大数据处理。Cloud Dataflow是处理和转换超大文本文件的理想工具,可以高效地将数据转换为Avro格式。将数据存储在Cloud Storage中,可以利用其高可用性和可扩展性,同时降低存储成本。BigQuery的外部表支持ANSI SQL,满足了查询要求。 其他选项的不足: 将数据直接存储在BigQuery中,虽然支持ANSI SQL,但对于超大文本文件,如果需要频繁更新或与其他系统集成,外部表更灵活且成本效益更高。 使用网格计算工具将文本文件压缩为gzip格式并加载到BigQuery,虽然可行,但gzip是通用压缩格式,不如Avro在数据类型和模式演进方面灵活。 将gzip文件存储在Cloud Storage中并导入到Cloud Bigtable中进行查询,Bigtable是宽列数据库,主要用于低延迟的键值查询,不直接支持ANSI SQL,不适合作为主要的数据仓库解决方案。
通过考试 — 无需无休止地寻找答案
将本次考试的所有验证问题和解释集中在一处,节省数小时的准备时间。1,000+ 认证 · 20+ 语言 · 免费开始。
更快通过考试 → 无需银行卡