一位資料科學家在 Amazon S3 中有 20 TB 的 CSV 資料,需要以最省力的方式將其轉換為 Apache Parquet。執行此轉換最簡單的方法是什麼?
選擇一個答案
點擊一個選項來檢查您的答案。
正確答案: 編寫轉換腳本,並將其作為 AWS Glue job 執行,以讀取 CSV 並寫入 Parquet 輸出。.
為什麼這是答案
正確答案是「編寫轉換腳本,並將其作為 AWS Glue job 執行,以讀取 CSV 並寫入 Parquet 輸出」。AWS Glue 是一種無伺服器 ETL 服務,專為大規模資料轉換而設計。它能夠自動擴展以處理 20 TB 的資料,並且可以輕鬆地將 CSV 轉換為 Parquet 格式,而無需管理底層基礎設施。 選項「使用 AWS Glue crawler 將檔案從 CSV 轉換為 Parquet」不正確,因為 Glue crawler 主要用於發現資料的結構和建立資料目錄,它本身不執行資料轉換。 選項「編寫轉換腳本,並在 Amazon EMR 叢集上執行,將檔案轉換為 Parquet」雖然可行,但相比於 AWS Glue job,EMR 需要更多的叢集管理和維護工作,不符合「最省力」的要求。 選項「編寫轉換腳本,並從 Amazon SageMaker notebook 執行,將檔案轉換為 Parquet」不正確,因為 SageMaker notebook 主要用於模型開發和實驗,不適合處理如此大規模的資料轉換任務,且其運算資源可能不足以高效處理 20 TB 的資料。
通過考試 — 無需無休止地尋找答案
集中一處獲取此考試的所有核實題目和解釋,節省數小時的準備時間。1,000 多種認證 · 20 多種語言 · 免費開始。
更快通過您的考試 → 無需信用卡