Промпт-инъекция в LLM
Оригинал: LLM Prompt Injection
Злоумышленник может сформировать вредоносные промпты как входные данные для LLM, чтобы заставить модель действовать непреднамеренным образом.
Такие «промпт-инъекции» часто предназначены для того, чтобы модель игнорировала части своих исходных инструкций и вместо этого следовала инструкциям злоумышленника.
Промпт-инъекция может быть вектором первичного доступа к LLM и дать злоумышленнику точку закрепления для дальнейших этапов операции. Она может быть рассчитана на обход защитных механизмов LLM или на возможность отдавать привилегированные команды. Эффект промпт-инъекции может сохраняться на протяжении интерактивной сессии с LLM.
Вредоносные промпты могут внедряться злоумышленником напрямую (прямой вариант) для генерации вредоносного содержимого через LLM или для закрепления в системе и последующих воздействий. Промпты также могут внедряться косвенно, когда LLM в рамках своей обычной работы получает вредоносный промпт из другого источника данных (косвенный вариант). Такой тип инъекции может использоваться злоумышленником для закрепления в системе или для атаки на пользователя LLM. Вредоносные промпты также могут срабатывать по триггеру, например из-за действий пользователя или системных событий.
Тактики
Подтехники
Меры защиты
Используйте контроль доступа в продакшене, чтобы помешать злоумышленникам внедрять вредоносные промпты.
AML.M0020Защитные ограничения (Guardrails) для генеративного ИИЗащитные ограничения могут предотвращать вредоносные входные данные, способные привести к промпт-инъекции.
AML.M0021Правила и инструкции для генеративного ИИИнструкции для модели могут предписывать ей отказываться отвечать на небезопасные входные данные.
AML.M0022Выравнивание модели генеративного ИИВыравнивание модели может повысить параметрическую безопасность модели, уводя ее от небезопасных промптов и ответов.
AML.M0024Логирование телеметрии ИИЛогирование телеметрии может помочь выявить отправку небезопасных промптов в LLM.
AML.M0033Валидация входных и выходных данных компонентов ИИ-агентаВалидация может помешать злоумышленникам выполнять промпт-инъекции, способные повлиять на агентные рабочие процессы.