Взлом памяти ChatGPT с помощью промпт-инъекции
Оригинал: Hacking ChatGPT's Memories with Prompt Injection
Embrace the Red продемонстрировали, что функцией памяти ChatGPT можно манипулировать с помощью промпт-инъекций. Для проведения атаки исследователь скрыл промпт-инъекцию в общем Google Doc. Когда пользователь ссылается на этот документ, его содержимое через функцию Connected App попадает в контекст ChatGPT, после чего промпт выполняется и отравляет память ложными фактами. Исследователь показал, что внедренные записи памяти сохраняются между чат-сессиями. Кроме того, поскольку пейлоад промпт-инъекции передается через общие ресурсы, другие пользователи также остаются уязвимыми к этой атаке, а сама атака может закрепляться в системе.
Процедура
- AML.TA0003 Подготовка ресурсов
AML.T0065 Создание промптов для LLM
Исследователь составил простой промпт, который задает контекст памяти как маркированный список неверных фактов. - AML.TA0007 Уклонение от защиты
AML.T0068 Обфускация промпта LLM
Исследователь поместил промпт в Google Doc, скрыв его в заголовке мелким шрифтом, цвет которого совпадал с цветом фона документа, чтобы сделать промпт невидимым. - AML.TA0004 Первичный доступ
AML.T0093 Внедрение промпта через публичное приложение
К Google Doc был предоставлен общий доступ для жертвы, что сделало документ доступным для ChatGPT через функцию Connected App. - AML.TA0005 Выполнение
AML.T0051.001 Косвенная промпт-инъекция
Когда пользователь ссылался на что-либо в общем документе, его содержимое добавлялось в контекст чата, и ChatGPT выполнял промпт. - AML.TA0006 Закрепление
AML.T0080.000 Память
Промпт добавлял новые воспоминания и изменял поведение ChatGPT. Окно чата показывало, что память задана, хотя проверки или вмешательства со стороны человека не было. Все будущие сессии чата будут использовать отравленное хранилище памяти. - AML.TA0006 Закрепление
AML.T0093 Внедрение промпта через публичное приложение
Промпт-инъекция для отравления памяти сохраняется в общем Google Doc, откуда она может распространяться на других пользователей и сессии чата. Это затрудняет отслеживание источников воспоминаний и их удаление. - AML.TA0011 Воздействие
AML.T0048.003 Ущерб пользователям
Из-за отравленных воспоминаний ChatGPT жертва может получать ложную информацию, быть введена в заблуждение или подвергаться влиянию.