Un'azienda desidera che un LLM di Amazon Bedrock fornisca output più coerenti per lo stesso prompt di input. Quale modifica del parametro di inferenza renderà le risposte del modello più deterministiche?

Per ottenere output più coerenti e deterministici da un LLM, è necessario diminuire il valore del parametro di inferenza "temperatura". La temperatura controlla la casualità delle risposte del modello: un valore più basso (vicino a 0) rende le risposte più prevedibili e focalizzate sulle probabilità più alte, mentre un valore più alto aumenta la casualità e la creatività. Aumentare la temperatura renderebbe le risposte meno deterministiche. Diminuire o aumentare la lunghezza dei token di output o la lunghezza massima di generazione non influisce direttamente sulla determinismo delle risposte per lo stesso prompt, ma piuttosto sulla verbosità o completezza dell'output.