Вызов инструментов ИИ-агента
Оригинал: AI Agent Tool Invocation
Злоумышленники могут использовать свой доступ к ИИ-агенту, чтобы вызывать инструменты, к которым имеет доступ агент. LLM часто подключают к другим сервисам или ресурсам через инструменты, чтобы расширить их возможности. Инструменты могут включать интеграции с другими приложениями, доступ к публичным или приватным источникам данных и возможность выполнять код.
Это может позволить злоумышленникам выполнять API-вызовы к интегрированным приложениям или сервисам, получая повышенные привилегии в системе. Злоумышленники могут использовать подключенные источники данных для получения чувствительной информации. Они также могут использовать LLM, интегрированную с командным или скриптовым интерпретатором, для выполнения произвольных инструкций.
ИИ-агенты могут быть настроены с доступом к инструментам, которые недоступны пользователям напрямую. Злоумышленники могут злоупотреблять этим, чтобы получить доступ к инструментам, которыми иначе не смогли бы воспользоваться.
Тактики
Меры защиты
Защитные ограничения могут предотвращать вредоносные входные данные, способные привести к компрометации плагина, и обнаруживать персональные данные в выходных данных модели.
AML.M0021Правила и инструкции для генеративного ИИИнструкции для модели могут предписывать ей отказываться отвечать на небезопасные входные данные.
AML.M0022Выравнивание модели генеративного ИИВыравнивание модели может повысить параметрическую безопасность модели, уводя ее от небезопасных промптов и ответов.
AML.M0024Логирование телеметрии ИИЛогируйте вызовы инструментов ИИ-агента для обнаружения вредоносных вызовов.
AML.M0026Настройка разрешений привилегированного ИИ-агентаНадлежащий контроль доступа к использованию инструментов привилегированными ИИ-агентами может ограничить способность злоумышленника злоупотреблять вызовами инструментов при компрометации агента.
AML.M0027Настройка разрешений ИИ-агента одного пользователяНастройка ИИ-агентов с разрешениями на использование инструментов, унаследованными от пользователя, может ограничить способность злоумышленника злоупотреблять вызовами инструментов при компрометации агента.
AML.M0028Настройка разрешений инструментов ИИ-агентаНастройка инструментов ИИ-агента с контролем доступа, унаследованным от пользователя или вызывающего их ИИ-агента, может ограничить возможности злоумышленника в системе, включая злоупотребление вызовами инструментов и доступ к чувствительным данным.
AML.M0029Участие человека в действиях ИИ-агентаТребование подтверждения пользователем вызовов инструментов ИИ-агента может предотвратить автоматическое выполнение инструментов злоумышленником.
AML.M0030Ограничение вызова инструментов ИИ-агента при работе с недоверенными даннымиОграничение автоматического использования инструментов при наличии недоверенных данных может помешать злоумышленникам вызывать инструменты через промпт-инъекции.
AML.M0032Сегментация компонентов ИИ-агентаСегментация может помешать злоумышленникам использовать инструменты в агентном рабочем процессе для выполнения небезопасных действий, влияющих на другие компоненты.
AML.M0033Валидация входных и выходных данных компонентов ИИ-агентаВалидация может помешать злоумышленникам использовать инструменты в агентном рабочем процессе для генерации небезопасных выходных данных.
Примеры процедур из кейсов
Исследователь получил возможность выполнения кода, поскольку LLM была подключена к интерпретатору Python. Исследователь мог косвенно выполнить произвольный код в Python-интерпретаторе приложения, если специально подготовленными промптами заставлял LLM сгенерировать этот код.
AML.CS0021Эксфильтрация разговоров ChatGPTКроме того, промпт может заставить LLM вызывать плагины, которые пользователь не запрашивал. В этом примере исследователь показал, как плагин `WebPilot` обращается к плагину `Expedia`.
AML.CS0024Червь Morris II: атака на основе RAGИсследователи отправляют на адрес в целевой почтовой системе письмо с состязательным самореплицирующимся промптом, или «ИИ-червем». GenAI-почтовый ассистент автоматически обрабатывает это письмо в рамках обычной генерации предлагаемого ответа. Письмо сохраняется в базе данных для RAG (генерации, дополненной извлечением), что компрометирует RAG-систему.
AML.CS0026Перехват финансовой транзакции с использованием M365 Copilot в роли инсайдераИсследователи скомпрометировали плагин `search_enterprise`, заставив LLM переопределить часть поведения и использовать в ответе только извлеченный объект `EmailMessage`.
AML.CS0038Внедрение инструкций для отложенного автоматического вызова инструмента ИИ-агентаПри следующем взаимодействии жертвы с Gemini вызывалось расширение Workspace.
AML.CS0039Living Off AI: промпт-инъекция через Jira Service ManagementВредоносный промпт запрашивал информацию, доступную ИИ-агенту через инструменты Atlassian MCP. Это приводило к вызову этих инструментов через MCP и повышало привилегии исследователей в JSM-экземпляре жертвы.
AML.CS0045Эксфильтрация данных через MCP-сервер, используемый CursorПромпт-инъекция задействовала возможность Cursor вызывать команды через инструмент `run_terminal_cmd`. Перед выполнением команды оболочки Cursor запросил подтверждение пользователя, что потенциально снижало риск атаки.
AML.CS0046Уничтожение данных через косвенную промпт-инъекцию, нацеленную на Claude Computer UseClaude Computer Use вызвал свой инструмент `bash`, чтобы выполнить вредоносную команду.
AML.CS0048Публично доступные интерфейсы управления ClawdBot позволили получить учетные данные и выполнить командыИсследователь отправил ClawdBot промпт `root`; в ответ ClawdBot вызвал навык `bash`, запущенный от имени пользователя root.
AML.CS0049Компрометация цепочки поставки через отравленный навык ClawdBotClaude Code выполнил команду оболочки через свой инструмент `bash`.
AML.CS0051Использование OpenClaw для командования и управления через промпт-инъекциюПромпт-инъекция заставила OpenClaw вызвать навык `bash`, чтобы загрузить и выполнить вредоносный скрипт.
AML.CS0052LLMSmith: уязвимости RCE в приложениях с интеграцией LLMПромпты исследователей вызывали инструменты ИИ-агента и были нацелены на цепочки вызовов, которые могут привести к выполнению кода.
AML.CS0054Эксфильтрация данных через удаленный отравленный MCP-инструментПромпт вызывал инструмент агента, способный читать файлы из файловой системы жертвы.
AML.CS0055AI ClickFix: захват управления computer-use-агентами с помощью ClickFixНажатие кнопки "see instructions" выполняло JavaScript, который помещал вредоносную команду в буфер обмена агента. Затем агент следовал инструкциям: открывал терминал, вставлял содержимое буфера обмена и нажимал Return, выполняя команду.
AML.CS0062RCE-уязвимость в Semantic Kernel Search PluginАгент Semantic Kernel вызвал инструмент поиска с вредоносным аргументом, предназначенным для выхода за пределы строки фильтра.