Amazon MLS-C01: 訓練、分散式訓練與超參數最佳化 — 學習指南
屬於 AWS Machine Learning Specialty MLS-C01 — 學習指南. 使用經過驗證的解答練習： Amazon 考試中心, 或參加限時模擬考試： ExamRoll.io.
訓練任務、容器以及用最少程式碼轉換到雲端訓練
將訓練工作負載轉移到 SageMaker 時，主要的設計目標是避免重寫模型程式碼，同時確保容器執行環境能曝露出預期的 SageMaker 環境變數與通道路徑。使用 SageMaker Script Mode 搭配特定框架的 Estimator (PyTorch, TensorFlow, XGBoost)，這樣同一份訓練腳本就能以最少的變動在本地和雲端上執行：從
undefined
讀取資料、將模型寫入
undefined
，並遵循
undefined
。對於自訂環境，建立一個擴充自官方 AWS Deep Learning Containers (或 SageMaker training toolkit) 的 Docker 映像檔，並將其推送到 Amazon ECR；確保容器的進入點 (entry point) 遵循 SageMaker 的訓練合約。根據運算特性選擇執行個體類型：CPU 密集型任務使用 ml.c5/m5 家族，GPU 訓練則使用 ml.p3、ml.p4d、g4dn 或 g5 執行個體；根據記憶體和 GPU 與 CPU 的比例來選擇執行個體大小。常見的陷阱包括寫死本地檔案路徑、假設只有單一主機 (這在分散式任務中會出錯)，以及未宣告訓練輸入模式 (Pipe vs File)，這會影響 I/O 效能。為了可重現性和成本可預測性，只有在加入穩健的檢查點機制，並設定
undefined
以允許 Spot 中斷後，才啟用受管 Spot 訓練。
分散式訓練模式、資料輸入模式與儲存選擇
分散式深度學習需要在模型平行化、資料平行化和 I/O 架構之間取得平衡。對於單一主機多 GPU 和多主機訓練，使用框架的原生基元—例如
undefined
或 TensorFlow 的
undefined
—或利用 SageMaker 的
undefined
函式庫：
undefined
用於資料平行擴展，
undefined
或 DeepSpeed 則用於超大型 Transformer 模型。使用 S3 作為大型資料集的標準儲存，但要避免大量的小型 S3 GET 請求：可以將檔案整合成較少的存檔、使用 RecordIO/TFRecord 分片檔案，或掛載一個 POSIX 檔案系統。對於大型資料集，選擇 Pipe 模式直接從 S3 串流訓練資料，以減少本地磁碟使用量和啟動時間；當訓練需要隨機存取，或當您需要在 EBS 磁碟區上擁有完整資料集時，則使用 File 模式。若要在多個執行個體間實現高吞吐量和 POSIX 語意，可掛載 Amazon FSx for Lustre 或 Amazon EFS；FSx 更適合高效能的平行讀取。常見的錯誤包括未能在主機之間對資料進行分片 (導致資料重複)、高估了每個執行個體的 S3 吞吐量，以及在增加平行度時忽略了批次大小和學習率的擴展規則。
Spot 訓練、檢查點設定與成本優化策略
如果您的訓練設計能夠容忍中斷，受管 Spot 訓練可以大幅降低成本。透過 SageMaker Estimator (
undefined
) 來設定受管 Spot，並加上檢查點設定：提供一個持久化的
undefined
和本地的
undefined
，並足夠頻繁地儲存檢查點以限制重工時間。將
undefined
設定得遠大於
undefined
，這樣任務才能在 Spot 時間窗內重試被中斷的執行個體。對於框架而言，實作原子性的檢查點寫入和一個穩健的續訓邏輯，該邏輯會檢查最新的 S3 檢查點、還原優化器和排程器的狀態，然後繼續訓練。檢查點的頻率應在寫入開銷和潛在的運算浪費之間取得平衡；對於長週期的 epoch 或非常大的模型，可使用梯度累積快照或基於步驟的儲存，在 epoch 中途設定檢查點。成本陷阱包括忘記將檢查點持久化到 S3 (這會導致中斷後完全重新開始)、依賴暫時性的執行個體儲存，以及將
undefined
設定等於
undefined
，這會阻止重試。將 Spot 訓練與混合精度 (AMP) 結合以節省更多運算資源，並搭配較小的檢查點負載 (僅儲存權重 + 優化器) 來降低 S3 寫入成本和續訓延遲。
超參數最佳化、調整策略與實務決策標準
有效率的 HPO 結合了搜尋策略、資源分配和提早停止 (early-stopping)。SageMaker 的 HyperparameterTuner 支援 Random (隨機) 和 Bayesian (貝氏) 搜尋，並可設定 ContinuousParameter、IntegerParameter 和 CategoricalParameter 的範圍；對於大型搜尋空間，先從隨機搜尋開始進行廣泛探索，然後執行貝氏最佳化來深入利用有潛力的區域。使用 Hyperband 或 SageMaker 內建的提早停止等方法來節省預算，並使用暖啟動調整 (warm-start tuning) 來重複使用相關實驗的結果。謹慎選擇目標指標 (例如，不平衡任務使用驗證集的 AUC、類別不平衡的詐欺偵測使用 F1 分數、庫存缺貨情境使用自訂的成本加權指標)。常見的陷阱包括：範圍設定過寬導致許多任務失敗、對本質上是連續的超參數使用分類編碼，以及未擴展具備資源感知能力的 HPO：先用短時間、較小執行個體的探測任務找出粗略區域，再用全尺寸 GPU 執行個體進行較長時間的執行。對於分散式訓練，需同時調整演算法超參數 (如學習率、批次大小) 和系統層級的參數 (如梯度累積步數、資料分片數量)。使用 SageMaker Debugger 進行檢測，並利用 CloudWatch 指標來偵測雜訊測量值；當存在高變異數時，增加每個組態的重複次數或使用基於中位數的選擇方法。
實務問題：使用案例情境
情境： FinRetailer 在 SageMaker 中為數千個 SKU 執行 30 天的需求預測；他們將多年的每日 CSV 檔案儲存在 S3 中，並要求對長尾需求的品項達到高準確度，同時在批次評分任務中保持可接受的推論延遲。
挑戰： 預測數千個具有長歷史紀錄且重要性不平衡的時間序列 (缺貨成本高於庫存過剩)，在最小化運算成本的同時，維持對罕見高需求事件的準確度。
建議方法：
- 使用 SageMaker 內建的 DeepAR 或自訂的 PyTorch 時間序列模型 (基於 Transformer)，並將其封裝在 Script Mode Estimator 中；將訓練資料儲存為分片的 RecordIO/TFRecord 檔案，並搭配 FSx for Lustre 使用 File mode，以實現高吞吐量的多執行個體訓練。
- 從較小執行個體的分散式訓練 (smddp 或 Horovod) 開始，以調整模型架構和超參數，並使用 HyperparameterTuner 搭配 Bayesian 搜尋和提早停止；將目標定義為加權分位數損失 (weighted quantile loss)，對預測不足給予更重的懲罰。
- 啟用受管 Spot 訓練，設定 checkpoint_s3_uri 和頻繁的、基於步數的檢查點；設定 max_wait > max_run 以容忍中斷，並從最新的 S3 檢查點恢復訓練。
- 對於生產環境的推論，使用多模型端點 (multi-model endpoints) 或在運算優化執行個體上執行非同步批次轉換任務來進行批次評分；套用後處理的業務規則和一個考量到缺貨成本的校準閾值。
基本原理： 使用 DeepAR/transformer 架構能有效率地處理大量時間序列；分片的二進位格式和 FSx 可減少分散式訓練的 I/O 瓶頸，帶有客製化目標的 Bayesian HPO 將搜尋重點放在營運成本指標上，而帶有檢查點的 Spot 訓練則能在不犧牲進度的情況下降低成本。
← 時間序列與預測 · 所有領域 · 部署、推論與服務 (ML 實作與維運) →
練習這些題目 → · 在 ExamRoll.io 上限時練習 →
Pass the whole exam — not just this question
You found this answer. Get every verified question and explanation in one place, and save hours of prep. Free to start.
通過考試 →