某公司希望在邊緣裝置上使用語言模型進行推論，並要求達到絕對最低的延遲。哪種部署方法最能實現此目標？

在邊緣裝置上直接部署最佳化的小型語言模型 (SLM) 是實現最低延遲的最佳方法。這是因為推論直接在裝置本地執行，無需網路往返時間，從而消除了網路延遲。最佳化後的 SLM 可以在資源有限的邊緣裝置上高效運行。 在邊緣裝置上部署最佳化的大型語言模型 (LLM) 不切實際，因為 LLM 通常需要大量的計算資源和記憶體，邊緣裝置難以負荷。 使用集中式 API（無論是 SLM 或 LLM）都會引入網路延遲，因為資料必須從邊緣裝置傳輸到雲端或資料中心進行處理，然後結果再傳回裝置。非同步呼叫雖然可以避免阻塞，但並不能消除網路傳輸本身造成的延遲。