Firma chce, aby model LLM Amazon Bedrock generował bardziej spójne wyniki dla tego samego monitu wejściowego. Zmiana którego parametru wnioskowania sprawi, że odpowiedzi modelu będą bardziej deterministyczne?

Zmniejszenie wartości parametru temperature sprawi, że odpowiedzi modelu będą bardziej deterministyczne i spójne. Temperature kontroluje losowość generowanych wyników. Niższa wartość (bliżej 0) oznacza, że model będzie wybierał tokeny o najwyższym prawdopodobieństwie, co prowadzi do bardziej przewidywalnych i powtarzalnych odpowiedzi. Wyższa wartość temperature zwiększa losowość, co jest przydatne do generowania bardziej kreatywnych, ale mniej spójnych wyników. Zwiększenie wartości temperature spowodowałoby większą różnorodność, a nie spójność. Zmiana długości tokenów wyjściowych lub maksymalnej długości generowania wpływa na rozmiar i kompletność odpowiedzi, a nie na ich determinizm.