Een bedrijf vergelijkt grote taalmodellen voor een tekstsamenvattingstaak en heeft een metriek nodig om de kwaliteit van de samenvatting te evalueren. Welke metriek is hiervoor geschikt?

ROUGE (Recall-Oriented Understudy for Gisting Evaluation) is een veelgebruikte metriek voor het evalueren van de kwaliteit van automatisch gegenereerde samenvattingen of vertalingen door de overlap van woorden of zinnen te meten tussen de gegenereerde tekst en een of meer referentieteksten. Recall meet de verhouding van correct geïdentificeerde positieve gevallen, wat niet direct de kwaliteit van een samenvatting beoordeelt. AUC (Area Under the ROC Curve) wordt gebruikt voor classificatietaken om de prestaties van een model te evalueren over verschillende drempelwaarden. MSE (Mean Squared Error) is een metriek voor regressietaken die het gemiddelde van de kwadraten van de fouten meet.