Un'azienda che sta creando un agente conversazionale vuole ridurre il rischio che un LLM venga manipolato da attacchi di prompt per compiere azioni dannose o rivelare segreti. Quale azione aiuta a mitigare questo rischio?

Creare modelli di prompt che insegnino al modello a riconoscere e segnalare i pattern di attacco è una strategia efficace per mitigare i rischi di manipolazione. Questo approccio, noto come "prompt engineering" o "red teaming", addestra l'LLM a identificare e rispondere in modo appropriato a prompt dannosi o che cercano di estrarre informazioni sensibili, rafforzando le sue difese interne. Aumentare il parametro di temperatura rende le risposte più creative ma non migliora la sicurezza. Evitare LLM non elencati in SageMaker è una pratica di governance ma non affronta direttamente la manipolazione tramite prompt. Ridurre i token di input può limitare il contesto ma non impedisce attacchi mirati.