為了加速 Amazon Athena 查詢,資料工程師發現所有輸入檔案都是未壓縮的 .csv 檔案,而且大多數查詢都只選取單一欄位。哪項變更將「最能」改善 Athena 查詢效能?
選擇一個答案
點擊一個選項來檢查您的答案。
正確答案: 將資料格式從 .csv 變更為 Apache Parquet。套用 Snappy 壓縮。.
為什麼這是答案
將資料格式從 .csv 變更為 Apache Parquet 並套用 Snappy 壓縮是最佳選擇。Parquet 是一種柱狀儲存格式,非常適合分析查詢,因為它只讀取查詢所需的欄位,大幅減少 I/O 操作。這對於只選取單一欄位的查詢特別有效。Snappy 壓縮則能提供良好的壓縮比和快速的解壓縮速度,進一步提升查詢效能。 將 .csv 檔案轉換為 JSON 格式並使用 Snappy 壓縮,雖然 JSON 支援結構化資料,但它仍是列式儲存,不如 Parquet 的柱狀儲存效率高。對現有的 .csv 檔案套用 Snappy 壓縮會減少儲存空間和網路傳輸,但 .csv 格式本身仍是列式儲存,查詢仍需讀取所有欄位,無法利用柱狀儲存的優勢。使用 gzip 壓縮 .csv 檔案與 Snappy 壓縮 .csv 檔案的原理類似,雖然能壓縮資料,但無法解決 .csv 的列式儲存限制。
通過考試 — 無需無休止地尋找答案
集中一處獲取此考試的所有核實題目和解釋,節省數小時的準備時間。1,000 多種認證 · 20 多種語言 · 免費開始。
更快通過您的考試 → 無需信用卡