Un sito di e-commerce pubblicherà un chatbot basato su IA che accetta input dai clienti 24 ore su 24. Quale vulnerabilità lato input deve essere affrontata prima del lancio?

La prompt injection è una vulnerabilità in cui gli utenti malintenzionati manipolano il chatbot inserendo istruzioni dannose o non autorizzate nel loro input, facendogli eseguire azioni impreviste o rivelare informazioni sensibili. In un chatbot di e-commerce, ciò potrebbe significare forzare il bot a concedere sconti non autorizzati, accedere a dati dei clienti o divulgare la logica interna. Il data leakage (fuga di dati) è una conseguenza della prompt injection, non la vulnerabilità stessa. Le allucinazioni dei modelli linguistici di grandi dimensioni (LLM) sono risposte plausibili ma errate generate dal modello, non una vulnerabilità di sicurezza legata all'input dannoso. Il concept drift si riferisce a cambiamenti nel tempo nella relazione tra i dati di input e output, che influiscono sulle prestazioni del modello, ma non è una vulnerabilità di sicurezza diretta legata all'input dell'utente.