为了加快 Amazon Athena 查询速度,一位数据工程师发现所有输入文件都是未压缩的 .csv 文件,并且大多数查询都只选择一个列。哪项更改能最大程度地提高 Athena 查询性能?
选择一个答案
点击一个选项来检查您的答案。
正确答案: 将数据格式从 .csv 更改为 Apache Parquet。应用 Snappy 压缩。.
为什么这是答案
将数据格式从 .csv 更改为 Apache Parquet 并应用 Snappy 压缩是最大程度提高 Athena 查询性能的最佳选择。Parquet 是一种列式存储格式,非常适合只选择部分列的查询,因为它只读取所需列的数据,显著减少了 I/O。Snappy 是一种快速压缩算法,在解压缩时对 CPU 影响较小,进一步提高了查询速度。 将 .csv 文件转换为 JSON 格式并使用 Snappy 压缩不如 Parquet,因为 JSON 仍然是行式存储,查询单列时仍需读取整行。对现有 .csv 文件应用 Snappy 压缩虽然能减少数据传输量,但 .csv 格式本身是行式的,无法利用列式存储的优势。使用 gzip 压缩 .csv 文件比 Snappy 压缩率更高,但解压缩速度通常比 Snappy 慢,对查询性能的提升不如 Parquet + Snappy 组合。
通过考试 — 无需无休止地寻找答案
将本次考试的所有验证问题和解释集中在一处,节省数小时的准备时间。1,000+ 认证 · 20+ 语言 · 免费开始。
更快通过考试 → 无需银行卡