Een e-commerce site gaat een AI-gestuurde chatbot publiceren die 24 uur per dag klantinput accepteert. Welke kwetsbaarheid aan de invoerzijde moet worden aangepakt vóór de lancering?

Prompt injection is een kwetsbaarheid waarbij kwaadwillende gebruikers de chatbot kunnen manipuleren om onbedoelde acties uit te voeren of ongepaste antwoorden te genereren door zorgvuldig geformuleerde invoer te gebruiken. Dit kan leiden tot het omzeilen van beveiligingscontroles of het vrijgeven van gevoelige informatie. Voordat de chatbot live gaat, is het cruciaal om robuuste mechanismen te implementeren om dergelijke aanvallen te detecteren en te mitigeren. Datalekken (data leakage) zijn een breder beveiligingsprobleem, maar prompt injection is de specifieke invoergerelateerde kwetsbaarheid. LLM-hallucinaties zijn onnauwkeurige of verzonnen antwoorden van het model zelf, geen directe invoerkwetsbaarheid. Concept drift verwijst naar veranderingen in de relatie tussen invoer- en uitvoergegevens over tijd, wat de prestaties van het model beïnvloedt, maar is geen directe beveiligingskwetsbaarheid bij invoer.