一家線上外送公司在 S3 中為每個城市儲存一個 XGBoost 模型，目前每個模型都託管在自己的 EC2 instance 上（利用率為 5%）。他們希望網路應用程式能為現有和新使用者即時選擇最快的快遞員，同時將營運開銷降到最低。哪種解決方案能以最少的管理工作實現此目標？

正確答案是使用 SageMaker 多模型端點。這種方法允許在單一 SageMaker 端點上託管多個模型，透過動態載入 S3 儲存桶中的模型來實現。這顯著降低了營運開銷，因為它消除了為每個模型維護單獨 EC2 實例的需求，並且管理工作量最少。TargetModel 參數讓應用程式能夠在執行時指定要使用的特定城市模型。 其他選項的缺點： 批次轉換不適用於即時預測。 將所有模型整合到單一 EC2 實例雖然減少了實例數量，但仍需要手動管理 EC2 實例和模型伺服器，且可擴展性不如 SageMaker。 為每個城市建立單獨的 SageMaker 端點會導致過多的端點管理，增加成本和複雜性，與最小化營運開銷的目標不符。