Эксфильтрация через вызов инструмента ИИ-агента

Оригинал: Exfiltration via AI Agent Tool Invocation

Инструменты ИИ-агента, способные выполнять операции записи, могут вызываться для эксфильтрации данных злоумышленнику. Чувствительная информация может быть закодирована во входных параметрах инструмента и передана в контролируемое злоумышленником место назначения, например в почтовый ящик, документ или на сервер, как часть действия, выглядящего легитимным. Варианты включают отправку электронных писем, создание или изменение документов, обновление записей CRM или даже генерацию медиа, таких как изображения или видео.

Сам вызываемый инструмент может быть легитимным, но при этом вызван злоумышленником через промпт-инъекцию LLM, либо инструмент может быть вредоносным (см. Отравление инструмента ИИ-агента).

Отравление инструмента ИИ-агента также может использоваться для манипуляции входными данными и местом назначения отдельного легитимного инструмента, вызываемого в ходе обычного использования жертвой.

Тактики

AML.TA0010Эксфильтрация

Меры защиты

AML.M0024Логирование телеметрии ИИ

Логируйте вызовы инструментов ИИ-агента для обнаружения вредоносных вызовов.

AML.M0026Настройка разрешений привилегированного ИИ-агента

Надлежащий контроль доступа к использованию инструментов привилегированными ИИ-агентами может ограничить способность злоумышленника злоупотреблять вызовами инструментов при компрометации агента.

AML.M0027Настройка разрешений ИИ-агента одного пользователя

Настройка ИИ-агентов с разрешениями на использование инструментов, унаследованными от пользователя, может ограничить способность злоумышленника злоупотреблять вызовами инструментов при компрометации агента.

AML.M0028Настройка разрешений инструментов ИИ-агента

Настройка инструментов ИИ-агента с контролем доступа, унаследованным от пользователя или вызывающего их ИИ-агента, может ограничить возможности злоумышленника в системе, включая злоупотребление вызовами инструментов и эксфильтрацию чувствительных данных.

AML.M0029Участие человека в действиях ИИ-агента

Требование подтверждения пользователем вызовов инструментов ИИ-агента может предотвратить автоматическое выполнение инструментов злоумышленником.

AML.M0030Ограничение вызова инструментов ИИ-агента при работе с недоверенными данными

Ограничение автоматического использования инструментов при наличии недоверенных данных может помешать злоумышленникам вызывать инструменты через промпт-инъекции.

AML.M0032Сегментация компонентов ИИ-агента

Сегментация может помешать злоумышленникам использовать инструменты в агентном рабочем процессе для компрометации источников чувствительных данных.

AML.M0033Валидация входных и выходных данных компонентов ИИ-агента

Валидация может помешать злоумышленникам использовать инструменты в агентном рабочем процессе для компрометации источников чувствительных данных.

Примеры процедур из кейсов

AML.CS0037Эксфильтрация данных через инструменты ИИ-агента в Copilot StudioАктор: Zenity / Тактика: AML.TA0010 Эксфильтрация

Промпт просит агента отправить результаты письмом на адрес, выбранный исследователями, с помощью почтового инструмента агента. Исследователи успешно эксфильтруют целевые данные через вызов инструмента.

AML.CS0039Living Off AI: промпт-инъекция через Jira Service ManagementАктор: Cato CTRL / Тактика: AML.TA0010 Эксфильтрация

Вредоносный промпт предписывал опубликовать собранные сведения о тикетах в ответе к обращению. Это вызывало инструмент Atlassian MCP, который выполнял запрошенное действие и эксфильтровал данные в место, доступное исследователям на портале JSM.

AML.CS0045Эксфильтрация данных через MCP-сервер, используемый CursorАктор: Backslash Security Research Team / Тактика: AML.TA0010 Эксфильтрация

Файлы с учетными данными были эксфильтрированы на сервер исследователя командой `curl`, вызванной через инструмент Cursor `run_terminal_cmd`.

AML.CS0053Эксфильтрация писем через отравленный MCP-сервер PostmarkАктор: Unknown Bad Actor / Тактика: AML.TA0010 Эксфильтрация

Когда организации отправляли письма через инструмент `postmark-mcp`, все содержимое этих писем эксфильтровывалось злоумышленнику через адрес, добавленный в поле скрытой копии (BCC).

AML.CS0054Эксфильтрация данных через удаленный отравленный MCP-инструментАктор: Invariant Labs / Тактика: AML.TA0010 Эксфильтрация

Промпт инструктировал ИИ-агента сохранить файлы с учетными данными в лишнем параметре MCP-инструмента, чтобы эксфильтровать их через MCP-соединение.

AML.CS0061AI in the Middle: веб-сервисы ИИ как ретрансляторы C2Актор: Check Point Research / Тактика: AML.TA0010 Эксфильтрация

Собранная информация о хосте жертвы эксфильтрировалась, когда ИИ-сервис следовал инструкциям получить URL на подконтрольном злоумышленнику домене с данными, встроенными в параметр запроса.