Um site de e-commerce publicará um chatbot com tecnologia de IA que aceita a entrada de clientes 24 horas por dia. Qual vulnerabilidade do lado da entrada deve ser abordada antes do lançamento?

A injeção de prompt é uma vulnerabilidade crítica em chatbots, especialmente aqueles que interagem diretamente com usuários. Ela permite que um atacante manipule o comportamento do modelo de IA inserindo instruções maliciosas no prompt de entrada. Isso pode levar à divulgação de informações confidenciais, execução de ações não autorizadas ou geração de conteúdo inadequado. O vazamento de dados é uma consequência possível da injeção de prompt, mas não a vulnerabilidade em si. Alucinações de LLM referem-se à geração de informações falsas ou sem sentido pelo modelo, sendo um problema de confiabilidade, não de segurança de entrada. Desvio de conceito ocorre quando a relação entre os dados de entrada e a variável-alvo muda ao longo do tempo, sendo um problema de desempenho do modelo, não de segurança de entrada.