Firma porównuje tłumaczenia maszynowe wykonane za pomocą jej narzędzia z tłumaczeniami ludzkimi na tym samym zestawie dokumentów. Jakiej strategii oceny powinna użyć, aby porównać jakość tłumaczenia narzędzia w stosunku do tłumaczeń ludzkich?

Wynik BLEU (Bilingual Evaluation Understudy) jest powszechnie stosowaną metryką do oceny jakości tłumaczeń maszynowych poprzez porównanie ich z jednym lub większą liczbą referencyjnych tłumaczeń ludzkich. Mierzy on podobieństwo n-gramów między tłumaczeniem maszynowym a tłumaczeniami referencyjnymi. W tym kontekście, firma porównuje tłumaczenia maszynowe z tłumaczeniami ludzkimi, co oznacza, że ocenia względną jakość tłumaczenia maszynowego w stosunku do ludzkiego wzorca. BLEU jest odpowiednie do tego celu, ponieważ jego wynik jest wyższy, gdy tłumaczenie maszynowe jest bardziej podobne do tłumaczenia referencyjnego. Opcje mówiące o "bezwzględnej jakości" są nieprawidłowe, ponieważ BLEU, podobnie jak większość metryk automatycznych, ocenia jakość w odniesieniu do dostarczonych referencji, a nie w kategoriach absolutnych. BERTScore, choć jest nowszą i często bardziej zaawansowaną metryką wykorzystującą modele językowe oparte na transformatorach, również mierzy podobieństwo (często semantyczne) między tłumaczeniami, co czyni go metryką względną, a nie bezwzględną. Jednak BLEU jest klasycznym i nadal szeroko akceptowanym standardem dla tego typu porównań.