Een AI-practitioner wil dat de outputs van een groot taalmodel (LLM) diverser en creatiever zijn. Welke inferentieparameter moeten ze aanpassen?

Het verhogen van de temperature-waarde maakt de output van een LLM diverser en creatiever. Een hogere temperature zorgt ervoor dat het model meer willekeurigheid introduceert bij het selecteren van het volgende token, waardoor het minder geneigd is om de meest waarschijnlijke, en vaak voorspelbare, optie te kiezen. Dit leidt tot minder deterministische en meer gevarieerde antwoorden. Het verlagen van de Top K-waarde zou de diversiteit juist verminderen door het aantal overwogen tokens te beperken. Het verhogen van de antwoordlengte beïnvloedt de creativiteit niet direct, maar alleen de omvang van de output. Het verlagen van de promptlengte heeft geen directe invloed op de creativiteit van de output, maar eerder op de input voor het model.