Un site de commerce électronique va publier un chatbot basé sur l'IA qui accepte les entrées des clients 24 heures sur 24. Quelle vulnérabilité côté entrée doit être traitée avant le lancement ?

L'injection d'invite est une vulnérabilité où un utilisateur malveillant manipule le comportement d'un modèle de langage en insérant des instructions non autorisées dans l'entrée. Dans le cas d'un chatbot de commerce électronique, cela pourrait permettre à un attaquant de lui faire révéler des informations sensibles, de générer du contenu inapproprié ou de contourner les mesures de sécurité. La fuite de données est une conséquence possible de l'injection d'invite, mais pas la vulnérabilité elle-même. Les hallucinations du grand modèle linguistique (LLM) sont des réponses plausibles mais incorrectes générées par le modèle, et la dérive conceptuelle est un changement dans la relation entre les données d'entrée et la variable cible au fil du temps ; aucune de ces deux options n'est une vulnérabilité d'entrée directe liée à la manipulation intentionnelle par l'utilisateur.