Durante os testes de segurança de um modelo de base, os testadores ignoram intencionalmente as proteções de segurança do modelo para produzir conteúdo prejudicial. Como é chamada essa técnica?

A técnica de ignorar intencionalmente as proteções de segurança de um modelo de base para gerar conteúdo prejudicial é conhecida como "jailbreak". Isso envolve a criação de prompts ou entradas que contornam as diretrizes de segurança do modelo, forçando-o a produzir saídas que normalmente seriam bloqueadas. O "fuzzing de dados de treinamento" é uma técnica para encontrar vulnerabilidades em modelos, mas não se refere especificamente à geração de conteúdo prejudicial por meio da manipulação de prompts em um modelo já treinado. "Negação de serviço (DoS)" é um ataque que visa tornar um serviço indisponível, não a manipulação de um modelo para gerar conteúdo. "Teste de penetração autorizado" é uma avaliação de segurança realizada com permissão para identificar vulnerabilidades, mas não descreve a ação específica de contornar as proteções de um modelo para gerar conteúdo prejudicial.