Asystent konwersacyjny kieruje żądania do Anthropic Claude za pośrednictwem Amazon Bedrock. Użytkownicy zauważają, że zadawanie podobnych pytań wielokrotnie czasami skutkuje różnymi odpowiedziami. Jakie zmiany parametrów powinien zastosować inżynier ML, aby odpowiedzi były bardziej spójne i mniej losowe?

Aby odpowiedzi modelu były bardziej spójne i mniej losowe, należy zmniejszyć zarówno parametr temperature, jak i topk. Parametr temperature kontroluje losowość generowanych odpowiedzi; niższa wartość (bliżej 0) sprawia, że model jest bardziej deterministyczny i wybiera najbardziej prawdopodobne tokeny, co prowadzi do spójniejszych wyników. Parametr topk ogranicza wybór tokenów do k najbardziej prawdopodobnych; zmniejszenie tej wartości również redukuje losowość, ponieważ model ma mniej opcji do wyboru. Zwiększenie temperature lub topk spowodowałoby większą różnorodność i losowość odpowiedzi, co jest sprzeczne z celem uzyskania spójności.