Aplikacja do nauki języków używa LLM do przepisywania tekstu w celu zwiększenia jego czytelności. Zestaw danych treningowych zawiera oryginalny tekst sparowany z bardziej czytelnymi wersjami, a firma chce, aby wyniki odpowiadały tym przykładom. Której metryki należy użyć do oceny, jak dokładnie wyniki modelu odpowiadają referencyjnym przepisaniom?

Wynik ROUGE jest odpowiednią metryką, ponieważ mierzy podobieństwo między wygenerowanym tekstem a jednym lub więcej referencyjnymi tekstami. W tym scenariuszu, gdzie model przepisuje tekst w celu zwiększenia czytelności, a firma ma referencyjne, bardziej czytelne wersje, ROUGE może ocenić, jak dobrze wygenerowane przepisania pokrywają się ze słowami i frazami w referencyjnych wersjach. Wysoki wynik ROUGE wskazuje na duże podobieństwo. Wartość funkcji straty jest używana do trenowania modelu, a nie do oceny jakości wygenerowanego tekstu po treningu. Odporność semantyczna odnosi się do zdolności modelu do utrzymania znaczenia pomimo zmian wejściowych, co nie jest głównym celem tej oceny. Opóźnienie generowania tekstu mierzy wydajność, a nie jakość treści.