Büyük bir dil modelinin hangi parametresi, her üretim adımında kaç aday sonraki kelimenin veya jetonun dikkate alınacağını belirler?

Top K" parametresi, büyük dil modellerinde her üretim adımında dikkate alınacak en olası K adet sonraki kelime veya jetonu belirler. Bu, modelin çıktısının çeşitliliğini ve odaklanmasını kontrol etmeye yardımcı olur. Daha yüksek bir K değeri, daha fazla seçeneğin değerlendirilmesine ve potansiyel olarak daha çeşitli çıktılara yol açarken, daha düşük bir K değeri, modelin en olası seçeneklere odaklanmasını sağlar. Diğer seçenekler şunlardır: "Maksimum jeton sayısı" (Max tokens), modelin üreteceği toplam jeton sayısını sınırlar, her adımda aday sayısını değil. "Sıcaklık" (Temperature), modelin olasılık dağılımını yumuşatarak veya keskinleştirerek çıktının rastgeleliğini veya deterministikliğini etkiler. "Yığın boyutu" (Batch size), eğitim veya çıkarım sırasında aynı anda işlenen örnek sayısını ifade eder ve üretim adımı aday seçimiyle doğrudan ilgili değildir.