Ein Unternehmen hat ein generatives Textzusammenfassungsmodell mit Amazon Bedrock erstellt und möchte die automatische Modellevaluierung von Bedrock nutzen, um die Genauigkeit des Modells zu messen. Welche Bewertungsmetrik ist am besten geeignet, um die Qualität der generierten Zusammenfassungen zu beurteilen?

BERTScore ist die am besten geeignete Metrik, da es die semantische Ähnlichkeit zwischen der generierten Zusammenfassung und einer Referenzzusammenfassung bewertet. Es nutzt kontextualisierte Einbettungen von BERT, um die Qualität der Zusammenfassung genauer zu erfassen als traditionelle Metriken, die sich auf exakte Wortübereinstimmungen konzentrieren. Die Fläche unter der ROC-Kurve (AUC) und der F1-Score sind Metriken für Klassifizierungsaufgaben, nicht für die Bewertung von Textzusammenfassungen. Der Real World Knowledge (RWK) Score ist keine standardisierte oder weit verbreitete Metrik für die automatische Bewertung von Textzusammenfassungen in Bedrock.