Welche Bewertungsmetrik wird häufig verwendet, um Foundation Models (FMs) bei Textzusammenfassungsaufgaben zu bewerten?

Der BLEU-Score (Bilingual Evaluation Understudy) ist eine gängige Metrik zur Bewertung der Qualität von maschinell generiertem Text im Vergleich zu einem oder mehreren Referenztexten. Er misst die N-Gramm-Überlappung zwischen dem generierten und dem Referenztext, was ihn besonders geeignet für Aufgaben wie Textzusammenfassung und maschinelle Übersetzung macht. Der F1-Score wird hauptsächlich für Klassifikationsaufgaben verwendet und bewertet Präzision und Recall. Accuracy ist ebenfalls eine Metrik für Klassifikationsaufgaben und misst den Anteil korrekt klassifizierter Instanzen. Der Mean Squared Error (MSE) wird für Regressionsaufgaben eingesetzt, um die durchschnittliche quadratische Differenz zwischen vorhergesagten und tatsächlichen Werten zu quantifizieren.