Büyük bir dil modelini yardım masası sorgularını yanıtlamak üzere ince ayar yaptıktan sonra şirket, doğruluğun artıp artmadığını ölçmek istiyor. Hangi değerlendirme metriklerini kullanmalılar?

F1 skoru, modelin hem kesinliğini (precision) hem de hatırlama oranını (recall) dengeleyen bir metriktir ve özellikle dengesiz veri kümelerinde veya hem yanlış pozitiflerin hem de yanlış negatiflerin önemli olduğu durumlarda kullanışlıdır. Yardım masası sorgularında, doğru yanıtlar vermek (yüksek kesinlik) ve ilgili tüm sorguları ele almak (yüksek hatırlama) önemlidir. Precision (Kesinlik) tek başına, modelin verdiği yanıtların ne kadar doğru olduğunu gösterir ancak tüm doğru yanıtları ne kadar yakaladığını göstermez. Time to first token (İlk jetona kadar geçen süre) modelin hızını ölçer, doğruluğunu değil. Word error rate (Kelime hata oranı) genellikle konuşma tanıma modellerinde kullanılır, metin tabanlı yanıtların anlamsal doğruluğunu değerlendirmek için uygun değildir.