Ein Team, das an einem großen Sprachmodell arbeitet, stellt fest, dass seine Ausgaben keine Variabilität aufweisen. Welchen Parameter sollten sie ändern, um die Ausgabediversität zu erhöhen?

Die Temperatur steuert die Zufälligkeit der Modellausgabe. Ein höherer Temperaturwert (z.B. 0,7-1,0) erhöht die Wahrscheinlichkeit, dass das Modell weniger wahrscheinliche, aber potenziell kreativere oder vielfältigere Token auswählt, was zu einer größeren Variabilität führt. Ein niedrigerer Wert (z.B. 0,1-0,3) macht die Ausgabe deterministischer und weniger variabel. Die Batch-Größe beeinflusst die Effizienz des Trainings und die Stabilität der Gradienten, nicht die Ausgabediversität. Die Lernrate bestimmt die Schrittgröße bei der Aktualisierung der Modellgewichte während des Trainings. Der Optimierertyp (z.B. Adam, SGD) ist der Algorithmus zur Gewichtsaktualisierung. Keiner dieser Parameter beeinflusst direkt die Variabilität der Modellausgabe bei der Inferenz.