Эксфильтрация данных через инструменты ИИ-агента в Copilot Studio
Оригинал: Data Exfiltration via Agent Tools in Copilot Studio
Исследователи Zenity продемонстрировали, как данные организации могут быть эксфильтрованы с помощью промпт-инъекций, нацеленных на ИИ-агента клиентской поддержки.
Целевая система — ИИ-агент клиентской поддержки, созданный Zenity в Copilot Studio. Он смоделирован по образцу агента, разработанного McKinsey для оптимизации задач клиентской поддержки. ИИ-агент отслеживает почтовый ящик службы поддержки, куда клиенты отправляют свои обращения. Получив обращение, агент анализирует историю предыдущих взаимодействий с клиентом, определяет, какой консультант лучше всего подходит для этого случая, и отправляет соответствующему консультанту письмо по обращению со всем релевантным контекстом, который понадобится консультанту для полноценной работы с клиентом.
Исследователи Zenity начинают с выбора цели: они выявляют почтовый ящик, которым управляет ИИ-агент. Затем они используют промпт-инъекции, чтобы выяснить подробности об ИИ-агенте, например его источники знаний и инструменты. Поняв возможности ИИ-агента, исследователи могут составить промпт, который извлекает конфиденциальные данные клиентов из RAG-базы данных и CRM организации, а затем эксфильтрует их через инструмент ИИ-агента для работы с электронной почтой.
Ответ поставщика: Microsoft быстро подтвердила проблему и устранила ее. Промпты, использованные исследователями Zenity в этом упражнении, больше не работают, однако другие промпты все еще могут оставаться эффективными.
Процедура
- AML.TA0002 Разведка
AML.T0006.003 Зондирование каналов запуска ИИ-агента
Исследователи ищут на сайте целевой организации адреса электронной почты службы поддержки, которые могут обслуживаться ИИ-агентом. Затем они проверяют систему: отправляют письма и ищут в автоматических ответах признаки работы ИИ-агента. - AML.TA0001 Адаптация атак, связанных с ИИ
AML.T0065 Создание промптов для LLM
После выявления цели исследователи составляют промпты для проверки возможного ИИ-агента, отслеживающего почтовый ящик. Промпт должен заставить агента отправить ответное письмо на адрес, выбранный исследователями. - AML.TA0004 Первичный доступ
AML.T0093 Внедрение промпта через публичное приложение
Исследователи отправляют письмо с вредоносным промптом в почтовый ящик, который, по их предположению, может управляться ИИ-агентом. - AML.TA0005 Выполнение
AML.T0051.002 Триггерная промпт-инъекция
Исследователи получают ответ на указанный ими адрес, что указывает на наличие ИИ-агента и успешное срабатывание триггерной промпт-инъекции. - AML.TA0008 Выявление
AML.T0084.002 Триггеры активации
Исследователи делают вывод, что ИИ-агент активируется при получении письма. - AML.TA0008 Выявление
AML.T0084.001 Определения инструментов
Исследователи делают вывод, что у ИИ-агента есть инструмент для отправки писем. - AML.TA0000 Доступ к ИИ-модели
AML.T0047 Продукт или сервис с поддержкой ИИ
Далее исследователи повторяют те же шаги для взаимодействия с ИИ-агентом: отправляют агенту вредоносные промпты по электронной почте и получают ответы на нужный им адрес. - AML.TA0005 Выполнение
AML.T0051 Промпт-инъекция в LLM
Исследователи изменяют исходный промпт, чтобы обнаружить другие источники знаний и инструменты, которые могут содержать интересующие их данные. - AML.TA0008 Выявление
AML.T0084.000 Встроенные знания
Исследователи обнаруживают, что ИИ-агент имеет доступ к источнику данных «Customer Support Account Owners.csv». - AML.TA0008 Выявление
AML.T0084.001 Определения инструментов
Исследователи обнаруживают, что ИИ-агент имеет доступ к инструменту Salesforceget-records, который можно использовать для получения записей CRM. - AML.TA0001 Адаптация атак, связанных с ИИ
AML.T0065 Создание промптов для LLM
Исследователи используют сведения об инструментах и источниках знаний ИИ-агента, чтобы составить промпт, который соберет и эксфильтрует интересующие их клиентские данные. - AML.TA0009 Сбор материалов
AML.T0085.000 Базы данных RAG
Промпт просит агента получить все поля и строки из «Customer Support Account Owners.csv». Агент извлекает весь файл. - AML.TA0009 Сбор материалов
AML.T0085.001 Инструменты ИИ-агента
Промпт просит агента получить все записи Salesforce с помощью инструментаget-records. Агент извлекает все записи из CRM организации-жертвы. - AML.TA0010 Эксфильтрация
AML.T0086 Эксфильтрация через вызов инструмента ИИ-агента
Промпт просит агента отправить результаты письмом на адрес, выбранный исследователями, с помощью почтового инструмента агента. Исследователи успешно эксфильтруют целевые данные через вызов инструмента.