Uma empresa que está desenvolvendo um agente de conversação quer reduzir o risco de que um LLM seja manipulado por ataques de prompt para fazer coisas prejudiciais ou revelar segredos. Qual ação ajuda a mitigar esse risco?

Criar modelos de prompt que ensinem o modelo a reconhecer e sinalizar padrões de ataque é uma estratégia eficaz para mitigar ataques de prompt. Isso envolve o uso de técnicas de engenharia de prompt para instruir o LLM a identificar e responder apropriadamente a entradas maliciosas, como injeção de prompt ou vazamento de dados. Aumentar o parâmetro temperature tornaria as respostas mais aleatórias, não mais seguras. Evitar LLMs fora do SageMaker não garante segurança, pois a vulnerabilidade a ataques de prompt é inerente à arquitetura do LLM. Reduzir tokens de entrada não impede ataques, apenas limita o contexto.