Ein Unternehmen nutzt Amazon SageMaker, um Artikelzusammenfassungen in mehreren Sprachen zu erstellen, und benötigt eine Metrik zur Bewertung der Qualität übersetzter Zusammenfassungen über verschiedene Sprachen hinweg. Welche Bewertungsmetrik sollte es verwenden?

BLEU (Bilingual Evaluation Understudy) ist eine Metrik, die speziell zur Bewertung der Qualität von maschinellen Übersetzungen entwickelt wurde, indem sie die Übereinstimmung zwischen der generierten Übersetzung und einer oder mehreren Referenzübersetzungen misst. Sie ist daher ideal für die Bewertung von Zusammenfassungen in verschiedenen Sprachen. ROUGE (Recall-Oriented Understudy for Gisting Evaluation) ist primär für die Bewertung von Textzusammenfassungen in einer Sprache konzipiert, da es den Recall von N-Grammen zwischen der generierten und der Referenzzusammenfassung misst. AUC (Area Under the ROC Curve) wird zur Bewertung der Leistung von Klassifikationsmodellen verwendet, nicht für Textgenerierung. Precision ist eine allgemeine Metrik, die zwar in vielen Kontexten nützlich ist, aber nicht die spezifischen Nuancen der Übersetzungsqualität wie BLEU erfasst.