RetailVision 有 240 個商店專屬的個人化模型（每個約 120 MB），這些模型的查詢頻率不高（每個模型請求之間間隔數分鐘）。他們目前將每個模型作為獨立的端點託管，這導致成本高昂。他們希望整合以將成本降至最低，同時在首次請求模型時保持可接受的冷啟動延遲。在這種情況下，哪種 SageMaker 託管方法最能降低成本？

單一 SageMaker 多模型端點（MME）是整合多個不常查詢的輕量級模型的最佳選擇。MME 允許在單一實例上託管數百甚至數千個模型，這些模型會根據請求從 S3 動態載入。這顯著降低了成本，因為它減少了所需的實例數量，並避免了為每個模型維護獨立端點的開銷。雖然首次請求時會有模型載入延遲，但對於低頻率查詢而言，這是可接受的權衡。 其他選項的缺點： 使用 EC2 實例並在啟動時載入所有模型，會導致記憶體使用量過高，且管理和維護成本高於 SageMaker。 240 個不同的多容器即時端點，即使設定自動擴展，每個端點仍然有固定的開銷，且冷啟動問題會更頻繁。 SageMaker Asynchronous Inference 雖然可以處理冷啟動，但為每個模型保留一個獨立端點並設定最小並行數為 1，會導致高昂的資源保留成本，與降低成本的目標相悖。