某公司在 Amazon S3 中有 10-15 TB 未压缩的 .csv 文件,并计划使用 Amazon Athena 进行一次性评估。该公司希望转换数据以减少查询时间并降低存储成本。哪种文件格式和压缩方式最能满足 Athena 查询的这些要求?
选择一个答案
点击一个选项来检查您的答案。
正确答案: Apache Parquet 格式,使用 Snappy 压缩.
为什么这是答案
Apache Parquet 格式是列式存储格式,非常适合分析查询,因为它允许 Athena 只读取查询所需的列,从而显著减少数据扫描量和查询时间。Snappy 是一种高性能的压缩算法,在压缩比和解压速度之间取得了很好的平衡,进一步降低了存储成本并加快了数据读取。 相比之下,.csv 是行式存储,且 zip 压缩通常不如 Snappy 适用于大数据分析。JSON 格式是半结构化数据,虽然灵活但通常不如 Parquet 针对分析查询优化,bzip2 压缩比高但解压速度慢。Apache Avro 也是行式存储格式,LZO 压缩速度快但压缩比通常不如 Snappy 优秀,且 Avro 在分析查询性能上通常不如 Parquet。
通过考试 — 无需无休止地寻找答案
将本次考试的所有验证问题和解释集中在一处,节省数小时的准备时间。1,000+ 认证 · 20+ 语言 · 免费开始。
更快通过考试 → 无需银行卡