Een bedrijf wil een large language model (LLM) integreren in zijn applicatie en heeft de responsen van het model zo deterministisch en consistent mogelijk nodig. Welke aanpak voldoet aan deze vereiste?

De parameter 'temperature' regelt de willekeur van de uitvoer van een LLM. Een lagere temperatuurwaarde maakt de uitvoer meer deterministisch en voorspelbaar, terwijl een hogere waarde de uitvoer willekeuriger en creatiever maakt. Door de temperatuur op 0 in te stellen, wordt de meest deterministische en consistente respons van het model verkregen, wat essentieel is voor de gestelde vereiste. Het toevoegen van tekst zoals "make your response deterministic" aan de prompt is een zwakkere en minder betrouwbare methode om de determinisme te beïnvloeden, aangezien het model dit als een suggestie interpreteert en niet als een strikte instructie. Het instellen van de temperatuur op 1 zou de uitvoer juist willekeuriger maken.