Temel modelleri (FM'ler) metin özetleme görevlerinde değerlendirmek için yaygın olarak hangi değerlendirme metriği kullanılır?

BLEU skoru, makine çevirisi ve metin özetleme gibi doğal dil işleme görevlerinde üretilen metnin kalitesini değerlendirmek için yaygın olarak kullanılan bir metriktir. Üretilen özet ile bir veya daha fazla referans özet arasındaki n-gram örtüşmesini ölçer. F1 skoru genellikle sınıflandırma görevlerinde kullanılır ve kesinlik ile geri çağırmanın harmonik ortalamasıdır. Doğruluk (Accuracy) da bir sınıflandırma metriğidir ve doğru tahminlerin toplam tahminlere oranını gösterir. Ortalama karesel hata (MSE) ise regresyon görevlerinde tahmin edilen değerler ile gerçek değerler arasındaki farkın karesinin ortalamasını ölçer. Bu nedenle, metin özetleme bağlamında en uygun metrik BLEU skorudur.