Un assistant conversationnel achemine les requêtes vers Anthropic Claude via Amazon Bedrock. Les utilisateurs remarquent que poser plusieurs fois des questions similaires donne parfois des réponses différentes. Pour rendre les réponses plus cohérentes et moins aléatoires, quels changements de paramètres l'ingénieur ML devrait-il appliquer ?

Pour rendre les réponses d'un modèle de langage plus cohérentes et moins aléatoires, il faut réduire sa créativité et sa diversité. Le paramètre temperature contrôle l'aléatoire des réponses : une valeur plus basse (plus proche de 0) rend les réponses plus déterministes et prévisibles, tandis qu'une valeur plus élevée les rend plus variées. Le paramètre topk limite le nombre de jetons les plus probables que le modèle peut considérer pour la génération de la prochaine partie du texte. Diminuer topk réduit l'éventail des choix possibles, ce qui rend les réponses plus ciblées et moins diverses. Par conséquent, diminuer les deux paramètres (temperature et topk) est la meilleure approche pour obtenir des réponses plus cohérentes. Augmenter ces paramètres aurait l'effet inverse, rendant les réponses plus aléatoires.