Çeşitli uzunluklardaki kitapları özetlemek için tasarlanmış bir sistem, test sırasında bazı başlıklarda başarısız oluyor. Bu başarısızlıkların en olası nedeni nedir?

Doğru cevap, "Giriş metni, modelin maksimum bağlam (token) uzunluğunu aşıyor" çünkü büyük dil modelleri (LLM'ler) belirli bir token limitine sahiptir. Kitaplar gibi uzun metinler bu limiti aştığında, model metnin tamamını işleyemez ve özetleme işlemi başarısız olur veya eksik kalır. Diğer seçenekler neden yanlış: Modelin sıcaklık (temperature) parametresi çok yüksek ayarlanmış: Yüksek sıcaklık, çıktının daha yaratıcı ve çeşitli olmasına neden olur, ancak doğrudan başarısızlığa yol açmaz. Seçilen model fine-tuning'i desteklemiyor: Fine-tuning, modelin belirli bir göreve uyarlanmasıdır; modelin temel işlevini yerine getirmesini engellemez. Top-p (nucleus sampling) değeri çok yüksek ayarlanmış: Top-p, çıktının çeşitliliğini kontrol eden bir başka parametredir; çok yüksek ayarlanması, çıktının daha az odaklanmış olmasına neden olabilir ancak doğrudan başarısızlığa yol açmaz.