Сайт электронной коммерции планирует запустить чат-бота на базе ИИ, который будет круглосуточно принимать запросы от клиентов. Какую уязвимость, связанную с вводом данных, необходимо устранить до запуска?

Правильный ответ — Prompt injection. Это уязвимость, при которой злоумышленник манипулирует поведением модели ИИ, вводя вредоносные инструкции в запрос. В данном случае, злоумышленник может заставить чат-бота выдать конфиденциальную информацию или выполнить нежелательные действия. Утечка данных (Data leakage) — это несанкционированное раскрытие информации, но не является уязвимостью, связанной с вводом данных в контексте манипуляции поведением модели. Галлюцинации большой языковой модели (LLM hallucinations) — это когда модель генерирует ложную или бессмысленную информацию, но это не злонамеренное манипулирование. Дрейф концепции (Concept drift) — это изменение статистических свойств целевой переменной со временем, что влияет на производительность модели, но не является уязвимостью ввода.