Un team che lavora su un modello linguistico di grandi dimensioni nota che i suoi output mancano di variabilità. Quale parametro dovrebbe modificare per aumentare la diversità degli output?

La temperatura è un parametro chiave nei modelli linguistici generativi che controlla la casualità o la creatività degli output. Un valore di temperatura più alto (ad esempio, 0.7-1.0) aumenta la probabilità di selezionare token meno probabili, rendendo l'output più vario e "creativo". Al contrario, un valore di temperatura più basso (ad esempio, 0.1-0.3) rende l'output più deterministico e focalizzato sui token più probabili, riducendo la variabilità. La dimensione del batch (Batch size) influisce sulla stabilità e velocità dell'addestramento, non sulla variabilità dell'output. Il tasso di apprendimento (Learning rate) determina la dimensione dei passi durante l'aggiornamento dei pesi del modello. Il tipo di ottimizzatore (Optimizer type) è l'algoritmo utilizzato per minimizzare la funzione di perdita. Nessuno di questi ultimi tre parametri influenza direttamente la diversità degli output generati dopo l'addestramento.