Una empresa que está desarrollando un agente conversacional quiere reducir el riesgo de que un LLM sea manipulado por ataques de prompt para realizar acciones dañinas o revelar secretos. ¿Qué acción ayuda a mitigar ese riesgo?

Crear plantillas de prompt que enseñen al modelo a reconocer y marcar patrones de ataque (defensa basada en prompt) es una estrategia efectiva para mitigar la manipulación. Al entrenar el modelo con ejemplos de ataques y respuestas seguras, se mejora su capacidad para identificar y resistir prompts maliciosos. Aumentar el parámetro temperature hace que las respuestas sean más aleatorias, lo que podría empeorar la situación al generar contenido impredecible o incluso dañino. Evitar LLMs no listados en SageMaker no es una solución directa a la manipulación, ya que la vulnerabilidad a ataques de prompt puede existir independientemente de la plataforma. Reducir los tokens de entrada no aborda la naturaleza del ataque, solo limita la cantidad de información procesada, sin prevenir la manipulación.