Ein Unternehmen vergleicht große Sprachmodelle für eine Textzusammenfassungsaufgabe und benötigt eine Metrik zur Bewertung der Zusammenfassungsqualität. Welche Metrik ist geeignet?

ROUGE (Recall-Oriented Understudy for Gisting Evaluation) ist eine Metrik, die speziell zur Bewertung der Qualität von Textzusammenfassungen entwickelt wurde. Sie vergleicht die generierte Zusammenfassung mit einer oder mehreren Referenzzusammenfassungen, indem sie die Überlappung von N-Grammen (Wortfolgen) misst. Ein höherer ROUGE-Wert deutet auf eine bessere Übereinstimmung mit den Referenzzusammenfassungen und somit auf eine höhere Qualität der Zusammenfassung hin. Recall und AUC sind Metriken, die typischerweise für Klassifikationsaufgaben verwendet werden, um die Leistung eines Modells bei der Identifizierung positiver Instanzen zu bewerten, nicht aber die Qualität von generiertem Text. MSE (Mittlere quadratische Abweichung) ist eine Metrik zur Bewertung der Differenz zwischen vorhergesagten und tatsächlichen numerischen Werten und wird häufig in Regressionsaufgaben eingesetzt, nicht für die Bewertung von Textzusammenfassungen.