Выполнение

Исследователь вручную составлял состязательные промпты, чтобы проверить, уязвима ли модель к промпт-инъекции и действительно ли приложение напрямую выполняет код, сгенерированный GPT-3.

Исследователь получил возможность выполнения кода, поскольку LLM была подключена к интерпретатору Python. Исследователь мог косвенно выполнить произвольный код в Python-интерпретаторе приложения, если специально подготовленными промптами заставлял LLM сгенерировать этот код.

Пользователь-жертва может неосознанно выполнить вредоносный код, входящий в состав скомпрометированного Colab notebook. Вредоносный код может быть обфусцирован или скрыт в других файлах, которые notebook загружает при выполнении.

Если пользователь разрешил Bing Chat просматривать открытые сайты, чат может видеть их содержимое. Когда у пользователя открыт сайт злоумышленника, скрытая вредоносная инструкция попадает в Bing Chat и выполняется.

Промпт-инъекция срабатывает и заставляет ChatGPT добавить Markdown-изображение с сервера злоумышленника. История переписки пользователя при этом встраивается в URL как query-параметр.

В итоге пользователь загрузит вредоносный пакет, что позволит выполнить произвольный код.

Исследователи тестируют промпты через публичные API моделей, чтобы найти работающие промпт-инъекции.

Когда почтовый ассистент извлекает письмо с червем при очередной генерации ответа, промпт-инъекция меняет поведение GenAI-почтового ассистента.

Исследователи отправляют на адрес в целевой почтовой системе письмо с состязательным самореплицирующимся промптом, или «ИИ-червем». GenAI-почтовый ассистент автоматически обрабатывает это письмо в рамках обычной генерации предлагаемого ответа. Письмо сохраняется в базе данных для RAG (генерации, дополненной извлечением), что компрометирует RAG-систему.

Исследователи использовали промпт-инъекцию, чтобы при ответе LLM выполняла другие инструкции. Это происходит каждый раз, когда пользователь выполняет поиск и извлекается отравленная RAG-запись с промпт-инъекцией.

Когда любой пользователь позже загрузит модель, она автоматически выполнит полезную нагрузку злоумышленника.

Когда пользователь отправляет запрос, приводящий к извлечению документа, встроенный промпт выполняется. Вредоносный промпт заставляет Bard ответить Markdown-разметкой изображения, URL которого указывает на Google Apps Script исследователя и содержит разговор пользователя в параметре запроса.