Une équipe travaillant sur un grand modèle linguistique constate que ses sorties manquent de variabilité. Quel paramètre devrait-elle modifier pour augmenter la diversité des sorties ?

La température (Temperature) est un paramètre clé dans les grands modèles linguistiques qui contrôle le caractère aléatoire des sorties. Une température plus élevée augmente la probabilité que le modèle sélectionne des jetons moins probables, ce qui rend les sorties plus diverses et créatives. Une température plus basse rend les sorties plus déterministes et conservatrices. La taille du lot (Batch size) affecte la stabilité de l'entraînement et la généralisation, mais pas directement la variabilité des sorties. Le taux d'apprentissage (Learning rate) détermine la taille des pas lors de la mise à jour des poids du modèle pendant l'entraînement. Le type d'optimiseur (Optimizer type) est l'algorithme utilisé pour minimiser la fonction de perte. Ces trois derniers paramètres sont liés à l'entraînement du modèle et n'ont pas d'impact direct sur la variabilité des sorties une fois le modèle entraîné, contrairement à la température.