Bir konuşma asistanı, Anthropic Claude'a Amazon Bedrock aracılığıyla istekleri yönlendiriyor. Kullanıcılar, benzer soruları birden çok kez sormanın bazen farklı yanıtlar verdiğini fark ediyor. Yanıtları daha tutarlı ve daha az rastgele hale getirmek için ML mühendisi hangi parametre değişikliklerini uygulamalıdır?

Yanıtların tutarlılığını artırmak ve rastgeleliği azaltmak için hem temperature hem de topk parametreleri azaltılmalıdır. Temperature (sıcaklık), modelin çıktısının rastgeleliğini kontrol eder; daha düşük bir değer, daha deterministik ve tutarlı yanıtlar üretirken, daha yüksek bir değer daha çeşitli ve yaratıcı ancak potansiyel olarak daha az tutarlı yanıtlar verir. Topk ise, modelin bir sonraki kelimeyi seçerken göz önünde bulunduracağı en olası kelime sayısını sınırlar. Topk değerini azaltmak, modelin daha az seçenek arasından seçim yapmasına neden olarak çıktının daha odaklı ve daha az rastgele olmasını sağlar. Bu iki parametrenin birlikte azaltılması, Claude'un benzer sorulara daha öngörülebilir ve tutarlı yanıtlar vermesini sağlayacaktır. Diğer seçenekler ya rastgeleliği artırır ya da tutarlılığı sağlamak için doğru kombinasyonu sunmaz.