Sohbet aracısı oluşturan bir şirket, bir LLM'nin zararlı şeyler yapması veya sırları ifşa etmesi için prompt saldırılarıyla manipüle edilme riskini azaltmak istiyor. Bu riski azaltmaya hangi eylem yardımcı olur?

Doğru cevap, modeli saldırı modellerini tanımaya ve işaretlemeye öğreten prompt şablonları oluşturmaktır. Bu yaklaşım, LLM'nin güvenliğini artırmak için prompt mühendisliği tekniklerini kullanır. Model, belirli prompt kalıplarını veya anahtar kelimeleri zararlı veya manipülatif olarak tanımlamak üzere eğitildiğinde, bu tür girdilere karşı daha dirençli hale gelir ve uygunsuz yanıtları engeller. Yanlış seçenekler: Modeli çağırırken temperature parametresini artırmak, modelin daha yaratıcı ve çeşitli yanıtlar üretmesine neden olur, ancak bu, güvenlik açıklarını azaltmak yerine artırabilir. Amazon SageMaker'da listelenmeyen hiçbir LLM'yi kullanmaktan kaçınmak, belirli bir platforma bağlı kalmayı önerir ancak bu, tüm prompt saldırılarını önlemez veya modelin içsel güvenlik mekanizmalarını güçlendirmez. Modele gönderilen girdi token sayısını azaltmak, modelin bağlamı anlamasını kısıtlayabilir ve prompt saldırılarına karşı doğrudan bir koruma sağlamaz.