Nach dem Fine-Tuning eines großen Sprachmodells zur Beantwortung von Helpdesk-Anfragen möchte das Unternehmen messen, ob sich die Genauigkeit verbessert hat. Welche Bewertungsmetrik sollte es verwenden?

Der F1-Score ist die beste Metrik, da er das harmonische Mittel aus Precision (Genauigkeit) und Recall (Vollständigkeit) ist. Für Helpdesk-Anfragen ist es wichtig, dass das Modell sowohl relevante Antworten liefert (hohe Precision) als auch alle relevanten Informationen abdeckt (hoher Recall). Eine hohe Precision allein könnte bedeuten, dass das Modell nur wenige, aber korrekte Antworten gibt, während ein hoher Recall viele Antworten liefert, von denen einige falsch sein könnten. Der F1-Score bietet hier ein ausgewogenes Maß. "Time to first token" misst die Latenz und nicht die Genauigkeit. "Word error rate" ist eher für Spracherkennung relevant, nicht für die semantische Korrektheit von Antworten.