Po dostrojeniu dużego modelu językowego do odpowiadania na zapytania helpdesku, firma chce zmierzyć, czy poprawiła się dokładność. Której metryki oceny powinni użyć?

F1 score jest odpowiednią metryką, ponieważ łączy precyzję (Precision) i kompletność (Recall) w jedną miarę, co jest kluczowe przy ocenie dokładności odpowiedzi modelu. W kontekście helpdesku, ważne jest, aby model nie tylko udzielał poprawnych odpowiedzi (wysoka precyzja), ale także znajdował wszystkie istotne odpowiedzi (wysoka kompletność). Precision mierzy tylko odsetek poprawnych odpowiedzi spośród wszystkich odpowiedzi udzielonych przez model. Time to first token mierzy szybkość generowania pierwszej części odpowiedzi, a nie jej dokładność. Word error rate jest używany głównie do oceny systemów rozpoznawania mowy, a nie dokładności semantycznej odpowiedzi LLM.