Praktyk AI chce, aby wyniki dużego modelu językowego (LLM) były bardziej zróżnicowane i kreatywne. Który parametr wnioskowania powinien dostosować?

Aby wyniki LLM były bardziej zróżnicowane i kreatywne, należy zwiększyć wartość temperatury. Temperatura to parametr kontrolujący losowość generowanych odpowiedzi. Wyższa temperatura (np. 0.8-1.0) prowadzi do bardziej kreatywnych, ale potencjalnie mniej spójnych lub dokładnych wyników, ponieważ model częściej wybiera mniej prawdopodobne tokeny. Niższa temperatura (np. 0.2-0.5) daje bardziej przewidywalne i konserwatywne odpowiedzi. Zmniejszenie wartości Top K ograniczyłoby pulę tokenów do wyboru, co zmniejszyłoby, a nie zwiększyło różnorodność. Zwiększenie długości odpowiedzi czy zmniejszenie długości promptu nie wpływa bezpośrednio na kreatywność w taki sposób jak temperatura.