Une entreprise va intégrer un grand modèle linguistique (LLM) dans son application et a besoin que les réponses du modèle soient aussi déterministes et cohérentes que possible. Quelle approche satisfait cette exigence ?

Le paramètre de température contrôle la créativité et le caractère aléatoire des réponses d'un LLM. Une température de 0 rend le modèle plus déterministe et cohérent, car il choisira toujours le jeton le plus probable, ce qui est essentiel pour les applications nécessitant des résultats prévisibles. Une température de 1, en revanche, augmente le caractère aléatoire et la créativité, ce qui est inapproprié pour cette exigence. L'ajout de phrases comme « make your response deterministic » à l'invite est une forme d'ingénierie d'invite qui peut aider, mais elle est moins fiable et moins efficace que le contrôle direct du paramètre de température, car le modèle peut ne pas interpréter cette instruction de la même manière qu'un paramètre numérique.