Компания сравнивает машинные переводы, выполненные её инструментом, с переводами, выполненными человеком, на одном и том же наборе документов. Какую стратегию оценки следует использовать для сравнения качества перевода инструмента относительно переводов, выполненных человеком?

BLEU (Bilingual Evaluation Understudy) — это метрика, широко используемая для автоматической оценки качества машинного перевода путем сравнения его с одним или несколькими эталонными переводами, выполненными человеком. Она измеряет степень совпадения n-грамм между машинным и эталонным переводами. Хотя BLEU дает числовую оценку, она лучше всего подходит для определения относительного качества между различными системами перевода или версиями одной системы, а не для измерения абсолютного «человеческого» качества. BERTScore, хотя и является более современной и семантически осведомленной метрикой, также в первую очередь используется для относительной оценки. В данном сценарии, где сравниваются два метода перевода (инструмент компании и человек), BLEU является подходящим выбором для определения, какой из них ближе к эталонному переводу, выполненному человеком, то есть для оценки относительного качества.