Bir dil öğrenme uygulaması, metni daha okunabilir hale getirmek için bir LLM kullanır. Eğitim veri seti, orijinal metinleri daha okunabilir versiyonlarla eşleştirilmiş olarak içerir ve şirket, çıktıların bu örneklere uymasını ister. Modelin çıktılarının referans yeniden yazımlarla ne kadar yakından eşleştiğini değerlendirmek için hangi metriği kullanmalılar?

ROUGE (Recall-Oriented Understudy for Gisting Evaluation) skoru, özetleme ve metin oluşturma görevlerinde modelin çıktısının referans metinlerle ne kadar örtüştüğünü değerlendirmek için kullanılan yaygın bir metriktir. Dil öğrenme uygulamasında, modelin oluşturduğu okunabilir metinlerin referans yeniden yazımlarla kelime veya n-gram düzeyinde benzerliğini ölçerek çıktının doğruluğunu değerlendirir. Kayıp fonksiyonunun değeri, modelin eğitim sırasındaki performansını gösterir ancak çıktının kalitesini doğrudan ölçmez. Semantik sağlamlık, metnin anlamının korunup korunmadığına odaklanır ancak referans metinle birebir eşleşmeyi garanti etmez. Metin oluşturma gecikmesi ise modelin hızını ölçer, çıktının kalitesini değil.