Bir şirket, gençlere yönelik bir sohbet robotu için özel bir geniş dil modeli eğitiyor. Sohbet robotu, hedef kitlenin yaratıcı yazımlar ve kısaltmalar içeren gayri resmi stilini kullanmalıdır. Modelin performansını değerlendirmek için hangi metrik uygundur?
Bir cevap seçin
Cevabınızı kontrol etmek için bir seçeneğe dokunun.
Doğru cevap: BERTScore.
Neden bu cevap
BERTScore, özellikle yaratıcı ve gayri resmi dil gibi anlamsal benzerliğin önemli olduğu durumlarda, üretilen metnin referans metinle anlamsal benzerliğini değerlendirmek için uygundur. Gençlerin kullandığı yaratıcı yazımlar ve kısaltmalar gibi dilsel nüansları daha iyi yakalar. F1 skoru, genellikle sınıflandırma görevlerinde kullanılır ve metin üretiminde anlamsal kaliteyi doğrudan ölçmez. ROUGE ve BLEU skorları, n-gram çakışmasına dayalıdır ve kelime kelime eşleşmelere odaklanır. Bu metrikler, yaratıcı veya gayri resmi dildeki anlamsal çeşitliliği ve eş anlamlılıkları yakalamakta yetersiz kalabilir, bu da gençlerin sohbet robotu için uygun değildir.
Sonsuz cevap arayışı olmadan sınavınızı geçin
Bu sınav için her doğrulanmış soruyu ve açıklamayı tek bir yerde edinin ve saatlerce süren hazırlıktan tasarruf edin. 1.000'den fazla sertifika · 20'den fazla dil · ücretsiz başlayın.
Sınavınızı daha hızlı geçin → Kart gerekmez