Een bedrijf dat een conversationele agent bouwt, wil het risico verkleinen dat een LLM door promptaanvallen wordt gemanipuleerd om schadelijke dingen te doen of geheimen te onthullen. Welke actie helpt dit risico te beperken?

Het maken van promptsjablonen die het model trainen om aanvalspatronen te herkennen en te markeren, is een effectieve mitigatiestrategie. Dit omvat het gebruik van technieken zoals "red-teaming" en het toevoegen van specifieke instructies in de prompt om het model te sturen om schadelijke of ongepaste verzoeken te identificeren en te weigeren. Dit helpt de robuustheid van het model tegen promptaanvallen te vergroten. Het verhogen van de temperatuurparameter maakt de uitvoer van het model willekeuriger, wat het risico op manipulatie niet vermindert en zelfs ongewenste resultaten kan introduceren. Het vermijden van LLM's die niet in Amazon SageMaker staan vermeld, is geen directe mitigatie van promptaanvallen; het beperkt de keuze van modellen, maar garandeert geen veiligheid. Het verminderen van het aantal invoertokens heeft geen directe invloed op de kwetsbaarheid voor promptaanvallen.