Эксфильтрация разговоров ChatGPT

Оригинал: ChatGPT Conversation Exfiltration

Embrace the Red продемонстрировали, что разговоры пользователей ChatGPT могут быть эксфильтрованы через косвенную промпт-инъекцию. Для выполнения атаки субъект угрозы загружает вредоносный промпт на публичный сайт, где с ним может взаимодействовать пользователь ChatGPT. Промпт заставляет ChatGPT ответить Markdown-разметкой для изображения, в URL которого скрытно встроен разговор пользователя. ChatGPT отображает изображение пользователю, создавая автоматический запрос к скрипту под контролем злоумышленника и эксфильтруя разговор пользователя. Кроме того, исследователь показал, как промпт может выполнять другие плагины, открывая путь к дополнительному ущербу.

Процедура

1. AML.TA0003 Подготовка ресурсов

   AML.T0065 Создание промптов для LLM

   Исследователь разработал промпт, который заставляет ChatGPT добавлять в ответы Markdown-изображение, где разговор пользователя встроен в URL.
2. AML.TA0003 Подготовка ресурсов

   AML.T0079 Размещение средств атаки

   Исследователь разместил этот промпт на веб-странице, чтобы ChatGPT мог получить его при обращении к странице.
3. AML.TA0004 Первичный доступ

   AML.T0078 Компрометация при посещении сайта

   Когда запрос пользователя заставляет ChatGPT открыть эту веб-страницу через плагин WebPilot, модель считывает промпт злоумышленника.
4. AML.TA0005 Выполнение

   AML.T0051.001 Косвенная промпт-инъекция

   Промпт-инъекция срабатывает и заставляет ChatGPT добавить Markdown-изображение с сервера злоумышленника.

   История переписки пользователя при этом встраивается в URL как query-параметр.

5. AML.TA0010 Эксфильтрация

   AML.T0077 Рендеринг ответа LLM

   ChatGPT автоматически отображает изображение пользователю, из-за чего отправляет запрос на сервер злоумышленника и передает туда разговор пользователя.
6. AML.TA0012 Повышение привилегий

   AML.T0053 Вызов инструментов ИИ-агента

   Кроме того, промпт может заставить LLM вызывать плагины, которые пользователь не запрашивал.

   В этом примере исследователь показал, как плагин WebPilot обращается к плагину Expedia.

7. AML.TA0011 Воздействие

   AML.T0048.003 Ущерб пользователям

   В результате нарушается конфиденциальность пользователя, и он может стать целью дальнейших атак.

Источники

1. ChatGPT Plugins: Data Exfiltration via Images & Cross Plugin Request Forgery