Un assistente conversazionale instrada le richieste ad Anthropic Claude tramite Amazon Bedrock. Gli utenti notano che porre domande simili più volte a volte produce risposte diverse. Per rendere le risposte più coerenti e meno casuali, quali modifiche ai parametri dovrebbe applicare l'ingegnere ML?

Per rendere le risposte del modello più coerenti e meno casuali, l'ingegnere ML dovrebbe diminuire sia il parametro temperature che il parametro topk. La temperature controlla la casualità dell'output: valori più bassi rendono l'output più deterministico e focalizzato, mentre valori più alti lo rendono più creativo e vario. Diminuirla riduce la probabilità di selezionare token meno probabili. Il parametro topk limita la selezione del token successivo ai k token più probabili. Diminuendolo, si restringe ulteriormente il pool di scelte, portando a risposte più prevedibili. Aumentare uno o entrambi questi parametri (opzioni A, B, C) aumenterebbe la casualità e la varietà delle risposte, il contrario di quanto richiesto.