Amazon MLA-C01: 模型評估與選擇 — 學習指南

By Laurynas Brazys · 4 August 2026 · #amazon #mla-c01 #certification #exam-prep #study-guide

屬於 AWS Machine Learning Engineer Associate MLA-C01 — 學習指南. 使用經過驗證的解答練習： Amazon 考試中心, 或參加限時模擬考試： ExamRoll.io.

設計模式與權衡取捨

當必須將營運開銷降到最低時，應優先選擇託管服務和內建的演算法功能，而不是建立自訂的 ETL 或自訂的監控管線。例如，若要訓練一個用於詐欺偵測的二元分類器，SageMaker 中的 XGBoost 是一個高效率的內建選項，它提供低延遲的訓練以及專為不平衡資料設計的超參數，例如 scale_pos_weight，您應將其設定為 (num_negative / num_positive)。在 Estimator 或訓練容器中設定 XGBoost 的超參數：objective='binary:logistic'、eval_metric='aucpr' 或 'auc'，以及 early_stopping_rounds 來終止充滿雜訊的執行。這樣可以避免建立自訂的過採樣 (oversampling) 管線 (SMOTE)，除非需要特定領域的合成抽樣 (synthetic sampling)。

對於特徵工程，可使用 SageMaker Data Wrangler 來應用編碼轉換 (對低基數類別特徵使用 one-hot 編碼，對高基數特徵使用序數/標籤編碼或目標編碼)，然後將清理過的特徵實現 (materialize) 到 SageMaker Feature Store 或 S3。Data Wrangler 消除了大部分的維運負擔，並產生您可以重複使用的腳本或處理任務。如果您需要以最少的力氣進行自動化模型選擇，SageMaker Autopilot 可以自動預處理混合的類別與數值特徵，並產生候選模型；然而，Autopilot 會將轉換過程抽象化，對於自訂的特徵體系可能不是最佳選擇。

當指標、成品 (artifacts) 和血緣 (lineage) 都被記錄下來時，模型的比較與晉升 (promotion) 會最為穩健。使用 SageMaker Experiments 來比較不同的執行 (runs)，然後在一個 ModelPackageGroup 中建立一個 ModelPackage。透過將 ModelPackageApprovalStatus 設定為 “Approved” 來進行晉升，並產生一個參照該模型套件 ARN 的 EndpointConfig。在需要人工控制的情況下，將模型保留在 “PendingManualApproval” 狀態，並使用 Step Functions 或 AWS CodePipeline 串接一個人工核准工作流程，該流程包含一個核准動作，會呼叫 UpdateModelPackage 將其狀態移至 “Approved”。

常見陷阱與決策標準

一個常見的陷阱是，當生產環境的 F1 分數下降時，誤以為是模型故障，而根本問題其實是資料漂移。模型部署數月後，F1 分數持續下降最可能的原因是輸入分佈漂移或標籤漂移（概念漂移），而不是突發的程式錯誤。要進行診斷，需在端點上啟用 DataCaptureConfig 以擷取請求和回應的酬載至 S3，並根據基準約束執行 Model Monitor 的監控排程，然後計算特徵分佈統計數據和 PSI（群體穩定性指數）。同時，也應執行 Clarify 的資料漂移和偏見檢查，以偵測影響公平性指標的變化。

另一個常見的錯誤是，天真地透過重抽樣來處理類別不平衡問題，卻沒有考慮到時間洩漏或業務成本。應優先考慮演算法層級的控制方法——例如對於 XGBoost，設定 scale_pos_weight 並將 eval_metric 調整為 aucpr 或自訂目標——之後再考慮可能引入重複樣本的抽樣策略。為了可重現性和實驗追蹤，務必使用 SageMaker Experiments API 來記錄超參數和指標，並註冊帶有產物 URI 和來源元數據的模型套件，以便讓晉級流程可被稽核。

實務問題：使用情境

公司：FinSight Inc. — 針對線上交易進行詐欺偵測，資料儲存於 Amazon S3 和地端 MySQL，需求包括：安全的資料隔離、自動化異常偵測與視覺化、部署至生產環境前需手動批准、迭代訓練的低啟動延遲，以及最小化維運開銷的集中式模型版本控制。

1. 資料彙總與安全性：使用 AWS Glue 爬取 S3 交易日誌並建立 Glue Catalog 表格，使用 SSE-KMS 設定儲存桶加密，並透過 IAM 政策和 VPC 端點限制存取。對於地端 MySQL，可在 VPC 內使用安全的 VPN 或 AWS Direct Connect 建立 AWS Glue JDBC 連線，或使用 AWS DMS 將所需表格複製到 S3 的落地區。在 Glue Data Catalog 中註冊資料集，並授予 SageMaker 執行角色最低權限存取。

2. 特徵準備與異常偵測：使用 Amazon SageMaker Data Wrangler 連接到 Glue Catalog 和 S3 落地區，應用轉換（缺失值填補、類別變數的標籤編碼、數值型變數的縮放），並執行 Data Wrangler 內建的剖析功能來視覺化分佈並標記異常。將處理過的特徵匯出到 SageMaker Feature Store 的離線存儲庫以供訓練，並匯出到線上存儲庫以供推論時進行低延遲查詢。

3. 模型訓練與最小化啟動延遲：使用 SageMaker Estimator for XGBoost，設定 objective=‘binary:logistic’、eval_metric=‘aucpr’，並設定 scale_pos_weight=(neg_count/pos_count)。為了減少迭代訓練任務的啟動延遲，可將 Data Wrangler 的輸出快取在 S3 中，並重複使用相同的訓練容器映像檔和執行個體類型，而非每次都重建資料擷取流程；使用已啟用 cache_config 的 SageMaker Pipelines，這樣輸入/超參數未變的重複步驟將會跳過基礎設施的啟動過程。

4. 實驗追蹤與模型選擇：使用 SageMaker Experiments (CreateExperiment, CreateTrial, LogMetric) 來記錄每次訓練。使用 HyperparameterTuner，設定 objective_metric_name=‘validation:aucpr’、objective_type=‘Maximize’、strategy=‘Bayesian’、max_jobs 和 max_parallel_jobs 來尋找最佳超參數。在 Experiments 中比較模型，並透過在 ModelPackageGroup 中建立一個 ModelPackage，將選定的候選模型註冊到 SageMaker Model Registry。

5. 手動批准與部署門控：將新建立的模型套件狀態保持為 ModelPackageApprovalStatus=‘PendingManualApproval’。使用帶有使用者批准任務的 AWS Step Functions 工作流程或 AWS CodePipeline 的批准動作；一旦批准，執行 UpdateModelPackage 將批准狀態設為 ‘Approved’，並觸發自動建立 EndpointConfig 和執行 UpdateEndpoint 來進行部署。

6. 監控、偏見與漂移：在即時端點上啟用 DataCaptureConfig，並設定 CaptureOptions（包含 Input 和 Output）、DestinationS3Uri 以及 SamplingPercentage。使用 Model Monitor 的 GenerateBaseline 從訓練資料集產生基準統計資料，並透過 create_monitoring_schedule 來排程持續監控。定期以處理任務的形式執行 SageMaker Clarify，以計算偏見和資料漂移指標。如果 F1 分數低於基準約束，使用 Model Monitor 警報來觸發自動化的重新訓練管線 (SageMaker Pipeline)，該管線會在 Experiments 中記錄新的執行，並產生新的模型套件以供人工審核。

AWS 原理說明：此方法利用了託管的 SageMaker 功能——Data Wrangler 和 Feature Store 以最小化預處理開銷，XGBoost 搭配 scale_pos_weight 來處理不平衡問題而無需複雜的重抽樣，SageMaker Experiments 和 Model Registry 用於可稽核的實驗和模型生命週期管理，DataCaptureConfig 加上 Model Monitor 和 Clarify 用於自動化漂移和公平性偵測，以及將 Step Functions/CodePipeline 與 Model Registry 整合以提供所需的手動批准門控。這些服務共同最小化了維運負擔，同時保有安全性、可追溯性以及應對模型退化的能力。

← 模型訓練與超參數優化 · 所有領域 · 模型部署與推論 →

練習這些題目 → · 在 ExamRoll.io 上限時練習 →

瀏覽 Amazon →