某公司將來自全球測試設施的數百萬個 1 KB JSON 測試結果檔案儲存在 S3 中。一位資料工程師必須將這些檔案轉換為 Apache Parquet 並載入到 Amazon Redshift。目前的管道使用 AWS Glue 進行處理、Step Functions 進行協調,以及 EventBridge 進行排程。隨著更多設施的加入,處理時間增加了。哪項變更最能縮短處理時間?
選擇一個答案
點擊一個選項來檢查您的答案。
正確答案: 使用 AWS Glue dynamic frame 檔案分組選項來擷取原始輸入檔案。處理檔案。將檔案載入到 Amazon Redshift 資料表。.
為什麼這是答案
此題情境涉及處理大量小檔案,這在分散式處理系統中會導致「小檔案問題」,增加處理開銷。AWS Glue dynamic frame 的檔案分組選項(file grouping option)能有效地將多個小檔案合併成較大的檔案進行處理,顯著減少啟動任務、管理元數據和 I/O 操作的次數,從而縮短整體處理時間。 其他選項的缺點: 使用 AWS Lambda 將原始輸入檔案分組:這會增加額外的 Lambda 成本和複雜性,且 Lambda 的執行時間限制可能不適合處理大量檔案。 使用 Amazon Redshift COPY command:Redshift COPY 命令主要用於載入數據,而非高效地轉換小檔案為 Parquet 格式並進行處理。直接載入大量小 JSON 檔案會導致 Redshift 性能下降。 使用 Amazon EMR 而非 AWS Glue:雖然 EMR 也能處理大數據,但情境中已明確指出使用 AWS Glue 和 Step Functions,引入 EMR 會增加額外的管理和成本,且 Glue dynamic frame 的分組功能已能有效解決問題,無需替換整個處理引擎。
通過考試 — 無需無休止地尋找答案
集中一處獲取此考試的所有核實題目和解釋,節省數小時的準備時間。1,000 多種認證 · 20 多種語言 · 免費開始。
更快通過您的考試 → 無需信用卡