Ein Unternehmen vergleicht maschinelle Übersetzungen, die von seinem Tool erstellt wurden, mit menschlichen Übersetzungen desselben Satzes von Dokumenten. Welche Bewertungsstrategie sollten sie verwenden, um die Übersetzungsqualität des Tools im Verhältnis zu menschlichen Übersetzungen zu vergleichen?

Der Bilingual Evaluation Understudy (BLEU)-Score ist eine gängige Metrik zur Bewertung der Qualität maschineller Übersetzungen. Er vergleicht die maschinelle Übersetzung mit einer oder mehreren Referenzübersetzungen (hier: menschliche Übersetzungen) und misst die Überlappung von N-Grammen. Da BLEU die maschinelle Übersetzung im Vergleich zu einer Referenz bewertet, ist er ideal, um die relative Qualität zwischen verschiedenen Übersetzungsmethoden (maschinell vs. menschlich) zu schätzen. Er gibt an, wie gut die maschinelle Übersetzung die menschliche Referenz nachbildet. BERTScore ist eine neuere Metrik, die kontextuelle Einbettungen verwendet, um die semantische Ähnlichkeit zu bewerten, aber BLEU ist traditionell und weit verbreitet für diese Art des Vergleichs. Die Schätzung der absoluten Qualität ist mit keiner dieser Metriken direkt möglich, da sie immer einen Vergleichspunkt benötigen.