對話助理透過 Amazon Bedrock 將請求路由到 Anthropic Claude。使用者注意到，多次詢問類似問題有時會得到不同的答案。為了讓回應更一致且隨機性更低，ML 工程師應該調整哪些參數？

為使模型回應更一致且隨機性更低，應減少 temperature 和 topk 參數。temperature 控制模型輸出中的隨機性：較低的溫度值（接近 0）會使模型選擇機率最高的詞彙，從而產生更具決定性且重複性高的輸出；較高的溫度值則會增加隨機性。topk 參數限制模型在生成下一個詞彙時考慮的詞彙數量。減少 topk 會限制模型從較小的詞彙集中選擇，進而降低多樣性和隨機性。因此，同時減少這兩個參數會使模型在面對相似問題時產生更一致的答案。增加這些參數會導致相反的效果，即增加隨機性和多樣性。