Une entreprise qui développe un agent conversationnel souhaite réduire le risque qu'un LLM soit manipulé par des attaques par injection de prompt pour effectuer des actions nuisibles ou révéler des secrets. Quelle action permet d'atténuer ce risque ?

La création de modèles de prompt qui entraînent le LLM à reconnaître et à signaler les schémas d'attaque est une stratégie proactive pour atténuer les attaques par injection. Cette approche renforce la robustesse du modèle en lui permettant d'identifier et de neutraliser les tentatives de manipulation. Augmenter le paramètre de température rend les réponses du modèle plus aléatoires, ce qui n'empêche pas l'injection de prompt. Éviter les LLM non répertoriés dans Amazon SageMaker est une mesure de conformité ou de préférence de plateforme, non une solution directe aux attaques par injection. Réduire le nombre de tokens d'entrée ne protège pas contre les injections, car même un petit prompt malveillant peut être efficace.