Косвенная промпт-инъекция
Оригинал: Indirect
Злоумышленник может внедрять промпты косвенно через отдельный канал данных, который обрабатывает LLM, например через текст или мультимедийные данные, полученные из баз данных или с веб-сайтов.
Такие вредоносные промпты могут быть скрыты или обфусцированы от пользователя. Этот тип инъекции может использоваться злоумышленником для закрепления в системе или для атаки на неосведомленного пользователя системы.
Тактики
Родительская техника
Другие подтехники родителя
Меры защиты
Логирование телеметрии может помочь выявить отправку небезопасных промптов в LLM.
AML.M0033Валидация входных и выходных данных компонентов ИИ-агентаВалидация может помешать злоумышленникам выполнять промпт-инъекции, способные повлиять на агентные рабочие процессы.
Примеры процедур из кейсов
Если пользователь разрешил Bing Chat просматривать открытые сайты, чат может видеть их содержимое. Когда у пользователя открыт сайт злоумышленника, скрытая вредоносная инструкция попадает в Bing Chat и выполняется.
AML.CS0021Эксфильтрация разговоров ChatGPTПромпт-инъекция срабатывает и заставляет ChatGPT добавить Markdown-изображение с сервера злоумышленника. История переписки пользователя при этом встраивается в URL как query-параметр.
AML.CS0026Перехват финансовой транзакции с использованием M365 Copilot в роли инсайдераИсследователи использовали промпт-инъекцию, чтобы при ответе LLM выполняла другие инструкции. Это происходит каждый раз, когда пользователь выполняет поиск и извлекается отравленная RAG-запись с промпт-инъекцией.
AML.CS0029Эксфильтрация разговоров Google BardКогда пользователь отправляет запрос, приводящий к извлечению документа, встроенный промпт выполняется. Вредоносный промпт заставляет Bard ответить Markdown-разметкой изображения, URL которого указывает на Google Apps Script исследователя и содержит разговор пользователя в параметре запроса.
AML.CS0035Эксфильтрация данных из Slack AI через косвенную промпт-инъекциюКогда жертва просит Slack AI найти ее «EldritchNexus API key», Slack AI извлекает вредоносное содержимое и выполняет инструкции.
AML.CS0038Внедрение инструкций для отложенного автоматического вызова инструмента ИИ-агентаКогда пользователь просил Google Gemini кратко изложить письмо или как-либо с ним взаимодействовать, выполнялся вредоносный промпт.
AML.CS0039Living Off AI: промпт-инъекция через Jira Service ManagementВ рамках стандартного рабочего процесса инженер поддержки в организации-жертве использовал Claude Sonnet, который может взаимодействовать с Jira через MCP-сервер Atlassian, чтобы помочь обработать вредоносное обращение. В результате инъекция была непреднамеренно выполнена.
AML.CS0040Взлом памяти ChatGPT с помощью промпт-инъекцииКогда пользователь ссылался на что-либо в общем документе, его содержимое добавлялось в контекст чата, и ChatGPT выполнял промпт.
AML.CS0045Эксфильтрация данных через MCP-сервер, используемый CursorПри обработке вредоносного сайта MCP-сервер вернул внедренный промпт MCP-клиенту и отравил контекст LLM в Cursor. После этого Cursor выполнил промпт, встроенный в сайт.
AML.CS0046Уничтожение данных через косвенную промпт-инъекцию, нацеленную на Claude Computer UseКогда пользователь попросил Claude взаимодействовать с PDF-файлом, встроенный промпт был выполнен.
AML.CS0048Публично доступные интерфейсы управления ClawdBot позволили получить учетные данные и выполнить командыИсследователь смог напрямую отправлять промпты ClawdBot через интерфейс управления.
AML.CS0051Использование OpenClaw для командования и управления через промпт-инъекциюOpenClaw выполнил промпт-инъекцию, встроенную во вредоносный сайт.
AML.CS0055AI ClickFix: захват управления computer-use-агентами с помощью ClickFixПромпт инструктировал Computer Use Agent выполнить несколько действий: нажать "Please see instructions to confirm", затем найти и нажать значок терминала, нажать `SHIFT+CTRL+V` и `RETURN`, после чего нажать кнопку "OK".