Bir e-ticaret sitesi, günün her saati müşteri girdilerini kabul eden yapay zeka destekli bir sohbet robotu yayınlayacaktır. Lansmandan önce hangi girdi tarafı güvenlik açığının ele alınması gerekir?

Doğru cevap, prompt injection (istem enjeksiyonu) saldırısıdır. E-ticaret sitesinin sohbet robotu, kullanıcı girdilerini kabul ettiği için kötü niyetli kullanıcılar, sohbet robotunun normal işleyişini bozmaya veya istenmeyen eylemler gerçekleştirmesini sağlamaya yönelik talimatlar ekleyebilirler. Bu tür saldırılar, sohbet robotunun gizli bilgileri ifşa etmesine, yanlış bilgiler vermesine veya sistemin kontrolünü ele geçirmesine neden olabilir. Veri sızıntısı, genellikle sistemin kendisinden kaynaklanan bir güvenlik açığıdır ve doğrudan kullanıcı girdisiyle ilgili değildir. LLM halüsinasyonları, modelin yanlış veya uydurma bilgiler üretmesidir, bu bir güvenlik açığından ziyade modelin doğasında olan bir sorundur. Konsept kayması ise modelin performansının zamanla düşmesidir ve lansman öncesi bir girdi güvenlik açığı değildir.