Прямая промпт-инъекция
Оригинал: Direct
Злоумышленник может внедрять промпты напрямую, действуя как пользователь LLM. Такой тип инъекции может использоваться злоумышленником для закрепления в системе или для злоупотребления самой LLM, например для генерации вредоносного содержимого.
Тактики
Родительская техника
Другие подтехники родителя
Меры защиты
Логирование телеметрии может помочь выявить отправку небезопасных промптов в LLM.
AML.M0033Валидация входных и выходных данных компонентов ИИ-агентаВалидация может помешать злоумышленникам выполнять промпт-инъекции, способные повлиять на агентные рабочие процессы.
Примеры процедур из кейсов
Исследователь вручную составлял состязательные промпты, чтобы проверить, уязвима ли модель к промпт-инъекции и действительно ли приложение напрямую выполняет код, сгенерированный GPT-3.
AML.CS0024Червь Morris II: атака на основе RAGИсследователи тестируют промпты через публичные API моделей, чтобы найти работающие промпт-инъекции.
AML.CS0036AIKatz: атака на десктопные LLM-приложенияЗлоумышленник отправлял вредоносные промпты напрямую в LLM в рамках любой текущей переписки жертвы.
AML.CS0041Бэкдор в файле правил: атака на цепочку поставки ИИ-ассистентов для программированияПри следующей инициализации ИИ-ассистента для программирования файл правил считывался, и вредоносный промпт выполнялся.
AML.CS0043Прототип вредоносного ПО со встроенной промпт-инъекциейКогда LLM-инструмент обнаружения или анализа вредоносного ПО обрабатывает бинарный файл Skynet, срабатывает встроенный промпт.
AML.CS0047Код для развертывания деструктивного ИИ-агента обнаружен в расширении Amazon Q для VS CodeАгент Amazon Q был развернут с промпт-инъекцией, которая предписывала ему выполнить деструктивные действия в файловой системе и облачной среде жертвы.
AML.CS0049Компрометация цепочки поставки через отравленный навык ClawdBotClaude Code прочитал все файлы навыка и выполнил вредоносный промпт из `rules/logic.md`.
AML.CS0051Использование OpenClaw для командования и управления через промпт-инъекциюКогда жертва взаимодействовала с OpenClaw, выполнялся измененный системный промпт с инструкциями исследователей.
AML.CS0052LLMSmith: уязвимости RCE в приложениях с интеграцией LLMИсследователи напрямую отправляли ИИ-агенту вредоносные инструкции.
AML.CS0054Эксфильтрация данных через удаленный отравленный MCP-инструментКогда пользователь вызывал удаленный MCP-инструмент, промпт-инъекция, скрытая в docstring-описании, выполнялась локально.
AML.CS0060Межсайтовый скриптинг (XSS) через манипуляцию промптом в ИИ-чат-боте LenovoLena выполнила подконтрольные злоумышленнику инструкции форматирования и сгенерировала HTML-ответ, содержащий вредоносную нагрузку. Ответ сохранился в ветке чата.
AML.CS0062RCE-уязвимость в Semantic Kernel Search PluginИсследователи отправили агенту подготовленный промпт. Промпт-инъекция заставила модель подготовить вызов инструмента поиска с вредоносным аргументом.