Een bedrijf vergelijkt machinale vertalingen die door zijn tool zijn geproduceerd met menselijke vertalingen van dezelfde set documenten. Welke evaluatiestrategie moeten ze gebruiken om de vertaalkwaliteit van de tool te vergelijken met die van menselijke vertalingen?

De correcte optie is om de Bilingual Evaluation Understudy (BLEU) score te gebruiken om de relatieve vertaalkwaliteit van de twee methoden te schatten. BLEU is een veelgebruikte metriek voor het evalueren van machinale vertalingen door de overeenkomst te meten tussen de machinevertaling en één of meer menselijke referentievertalingen. De score geeft aan hoe dicht de machinevertaling bij de menselijke vertalingen ligt, waardoor een relatieve vergelijking mogelijk is. De vraag betreft het vergelijken van vertalingen die door een tool zijn geproduceerd met menselijke vertalingen, wat precies het doel is van BLEU. BLEU schat geen absolute vertaalkwaliteit; het meet de gelijkenis met referentieteksten. BERTScore is een andere evaluatiemethode die contextuele embeddings gebruikt en vaak beter correleert met menselijke beoordelingen, maar BLEU is de klassieke en meest directe metriek voor dit type vergelijking, vooral wanneer meerdere menselijke referentieteksten beschikbaar zijn.