Firma porównuje duże modele językowe do zadania podsumowywania tekstu i potrzebuje metryki do oceny jakości podsumowania. Która metryka jest odpowiednia?

ROUGE (Recall-Oriented Understudy for Gisting Evaluation) to zestaw metryk powszechnie stosowanych do oceny jakości podsumowań tekstu lub tłumaczeń maszynowych. Mierzy on podobieństwo między podsumowaniem wygenerowanym przez model a jednym lub większą liczbą podsumowań referencyjnych (stworzonych przez człowieka), licząc nakładające się jednostki, takie jak n-gramy, sekwencje wyrazów lub pary wyrazów. Recall mierzy zdolność modelu do uchwycenia wszystkich istotnych informacji, ale nie ocenia spójności ani zwięzłości podsumowania. AUC jest używane do oceny klasyfikatorów binarnych, a MSE do regresji, więc nie są odpowiednie do oceny jakości podsumowań tekstu.