Bir şirketin LLM'i halüsinasyonlu (yanlış) çıktılar üretiyor. Çıkarım sırasında halüsinasyonları hangi eylem azaltabilir?

Doğru cevap, model için sıcaklık çıkarım parametresini azaltmaktır. Sıcaklık (temperature), LLM'lerin çıktılarının rastgeleliğini ve yaratıcılığını kontrol eden bir parametredir. Daha düşük bir sıcaklık değeri, modelin daha deterministik ve tahmin edilebilir çıktılar üretmesine neden olur, bu da halüsinasyon riskini azaltır. Diğer seçenekler neden yanlış: "Model eğitimini denetlemek için Agents for Amazon Bedrock kurun" ifadesi, çıkarım sırasında halüsinasyonları doğrudan azaltmaz; daha çok modelin kullanımını ve iş akışlarını yönetmeye odaklanır. "Veri ön işleme kullanın ve halüsinasyonlara neden olan tüm verileri kaldırın" ifadesi, eğitim verilerindeki sorunları ele alır, ancak zaten eğitilmiş bir modelin çıkarım sırasında halüsinasyonlarını doğrudan düzeltmez. Ayrıca, halüsinasyonlara neden olan tüm verileri tespit etmek ve kaldırmak pratik olarak çok zordur. "Halüsinasyon yapmayacak şekilde eğitilmiş bir temel model (FM) kullanın" ifadesi, ideal bir çözüm olsa da, pratikte halüsinasyon yapmayan bir model bulmak veya eğitmek zordur ve mevcut modelin halüsinasyonlarını azaltmak için doğrudan bir eylem değildir.