Nadat een groot taalmodel is gefinetuned om helpdeskvragen te beantwoorden, wil het bedrijf meten of de nauwkeurigheid is verbeterd. Welke evaluatiestatistiek moeten ze gebruiken?

De F1-score is de meest geschikte evaluatiestatistiek omdat deze een balans biedt tussen precisie (nauwkeurigheid van positieve voorspellingen) en recall (vermogen om alle relevante positieve gevallen te vinden). Bij het beantwoorden van helpdeskvragen is het belangrijk dat het model zowel correcte antwoorden geeft (hoge precisie) als alle relevante vragen correct beantwoordt (hoge recall). Een hoge F1-score duidt op een robuust model dat zowel accuraat als volledig is. Precisie alleen zou niet voldoende zijn, omdat een model met hoge precisie veel vragen onbeantwoord kan laten. Time to first token meet de latentie, niet de nauwkeurigheid. Word error rate (WER) is relevanter voor spraakherkenning of tekstgeneratie waar de exacte woordvolgorde cruciaal is, maar minder direct voor de semantische nauwkeurigheid van antwoorden op helpdeskvragen.