Une entreprise souhaite qu'un LLM Amazon Bedrock produise des résultats plus cohérents pour la même invite d'entrée. Quelle modification du paramètre d'inférence rendra les réponses du modèle plus déterministes ?

Pour rendre les réponses d'un LLM plus déterministes et cohérentes pour la même invite, il faut diminuer la valeur de la température. La température est un paramètre d'inférence qui contrôle le caractère aléatoire de la sortie du modèle. Une température plus basse (proche de 0) rend le modèle plus conservateur et prévisible, choisissant les jetons avec les probabilités les plus élevées, ce qui favorise la cohérence. À l'inverse, augmenter la température rend le modèle plus créatif et diversifié, mais moins déterministe. Diminuer la longueur des jetons de sortie ou augmenter la longueur maximale de génération affecte la taille de la réponse, mais pas directement son caractère déterministe.