Een bedrijf traint een aangepast groot taalmodel voor een chatbot gericht op tieners. De chatbot moet de informele stijl van het publiek gebruiken, inclusief creatieve spellingen en afkortingen. Welke metriek is geschikt voor het evalueren van de prestaties van het model?

BERTScore is het meest geschikt omdat het, in tegenstelling tot op n-gram gebaseerde metrieken zoals BLEU en ROUGE, rekening houdt met semantische gelijkenis. Dit is cruciaal voor het evalueren van de prestaties van een chatbot die creatieve spellingen en afkortingen gebruikt, omdat het model dan beloond wordt voor het begrijpen en genereren van tekst met een vergelijkbare betekenis, zelfs als de exacte woorden of zinsbouw afwijken. F1-score is een classificatiemetriek en niet direct toepasbaar voor het evalueren van tekstgeneratie.