Während Sicherheitstests eines Grundmodells umgehen Tester absichtlich die Sicherheitsschutzmaßnahmen des Modells, um schädliche Inhalte zu erzeugen. Wie wird diese Art von Technik genannt?

Ein Jailbreak ist eine Technik, bei der Benutzer oder Tester versuchen, die Sicherheitsbeschränkungen eines Sprachmodells zu umgehen, um unerwünschte oder schädliche Inhalte zu generieren, die das Modell normalerweise ablehnen würde. Dies geschieht oft durch kreative Prompts oder spezielle Eingabesequenzen. Fuzzing von Trainingsdaten bezieht sich auf das Testen der Robustheit eines Modells gegenüber fehlerhaften oder unerwarteten Eingaben während des Trainings, nicht auf die Umgehung von Sicherheitsmaßnahmen im Betrieb. Denial of Service (DoS) zielt darauf ab, einen Dienst unzugänglich zu machen, nicht darauf, schädliche Inhalte zu erzeugen. Autorisierter Penetrationstest ist eine breitere Kategorie von Sicherheitstests, die auch Jailbreaks umfassen kann, aber "Jailbreak" ist der spezifischere Begriff für diese Art der Umgehung von Modellbeschränkungen.