Bir şirket, seçilen bir temel modelle bir sohbet robotu oluşturdu ve botun şirketin belirli tonunda, insan yardımı olmadan teknik soruları yanıtlaması gerekiyor. Hangi yaklaşım, modelin şirketin tonuna uygun yanıtlar üretmesine yardımcı olur?

Doğru cevap, temel modelin istenen tonu tutarlı bir şekilde üretene kadar istemi (prompt) yinelemeli olarak iyileştirmek ve test etmektir. Bu yaklaşım, istem mühendisliğinin temel bir prensibidir ve modelin belirli bir çıktı formatı, tonu veya içeriği üretmesi istendiğinde en etkili yöntemdir. İstem, modelin davranışını doğrudan etkileyen talimatlar içerir ve bu talimatlar optimize edildiğinde, modelin şirketin belirlediği tonda yanıtlar vermesi sağlanır. Diğer seçenekler ise bu sorunun bağlamında uygun değildir: Maksimum token sayısını sınırlamak, yanıtın uzunluğunu kontrol eder ancak tonunu etkilemez. Toplu çıkarım (batch inferencing), birden fazla isteği aynı anda işleyerek verimliliği artırır ancak modelin tonunu değiştirmez. Sıcaklık (temperature) parametresini artırmak, modelin yanıtlarının rastgeleliğini ve yaratıcılığını artırır, bu da tutarlı bir ton elde etmeyi zorlaştırabilir ve istenmeyen sapmalara yol açabilir.