Een oplossing gebruikt LLM's om trainingshandleidingen van het Engels naar andere talen te vertalen. Welke evaluatiestatistiek moet het bedrijf gebruiken om te beoordelen hoe nauwkeurig de vertaalde tekst is?

Bilingual Evaluation Understudy (BLEU) is de meest geschikte evaluatiestatistiek voor het beoordelen van de nauwkeurigheid van machinevertalingen. Het vergelijkt de gegenereerde vertaling met een of meer referentievertalingen en berekent een score op basis van de overlap van n-grammen. Een hogere BLEU-score duidt op een hogere kwaliteit van de vertaling. Root Mean Squared Error (RMSE) wordt gebruikt voor regressietaken, niet voor tekstgeneratie. Recall-Oriented Understudy for Gisting Evaluation (ROUGE) wordt voornamelijk gebruikt voor het evalueren van tekstsamenvattingen. De F1-score is een maatstaf voor de nauwkeurigheid van een test en wordt vaak gebruikt bij classificatietaken.