Een app voor het leren van talen gebruikt een LLM om tekst te herschrijven zodat deze beter leesbaar is. De trainingsdataset bevat originele tekst gekoppeld aan beter leesbare versies, en het bedrijf wil dat de outputs overeenkomen met die voorbeelden. Welke metriek moeten ze gebruiken om te evalueren hoe nauwkeurig de outputs van het model overeenkomen met de referentieherschrijvingen?

ROUGE (Recall-Oriented Understudy for Gisting Evaluation) is een set van metrics die worden gebruikt om de kwaliteit van samenvattingen of gegenereerde tekst te evalueren door deze te vergelijken met een of meer referentieteksten. In dit scenario, waar de app de gegenereerde tekst wil vergelijken met vooraf gedefinieerde, beter leesbare versies, is ROUGE de meest geschikte metriek. De loss function waarde is een interne trainingsmetriek en geen directe evaluatie van de outputkwaliteit. Semantische robuustheid meet hoe goed het model presteert bij kleine verstoringen in de input, niet de overeenkomst met referentieteksten. Text-generation latency meet de snelheid van het model, niet de nauwkeurigheid van de gegenereerde inhoud.