Закрепление

Несколько вендоров начали классифицировать файлы как относящиеся к этому семейству программ-вымогателей, хотя большинство из них не запускались. Мутированные образцы отравили набор данных, который модели машинного обучения используют для выявления и классификации этого семейства программ-вымогателей.

Многократно взаимодействуя с Tay с использованием расистской и оскорбительной лексики, злоумышленники смогли сместить набор данных Tay в сторону такой же лексики. Для этого они использовали функцию "repeat after me" — команду, которая заставляла Tay повторять все, что ей говорили.

Исследователи отравили модель жертвы, внедрив нейронную полезную нагрузку в скомпилированные модели через прямое изменение вычислительного графа. Затем исследователи снова упаковали отравленную модель в APK-файл.

Самореплицирующаяся часть промпта заставляет сгенерированный ответ содержать вредоносный промпт, благодаря чему червь может распространяться дальше.

Исследователи добились закрепления в системе жертвы, поскольку вредоносный промпт выполнялся каждый раз, когда извлекалась отравленная RAG-запись с поддельными банковскими реквизитами.

Имея полный доступ к весам модели, злоумышленник мог изменить их, чтобы вызывать ошибочные классификации или иным образом ухудшать качество работы модели.

Имея полный доступ к модели, злоумышленник мог изменить ее архитектуру, чтобы поменять поведение модели.

Исследователь создает публичный канал Slack и отправляет в него вредоносное содержимое: текст для извлечения и промпт. Поскольку Slack AI индексирует сообщения в публичных каналах, вредоносное сообщение добавляется в его RAG-базу данных.

Затем злоумышленник мог создавать вредоносные промпты, манипулирующие памятью LLM для достижения устойчивого эффекта. Любое изменение в памяти также распространялось бы на новые цепочки сообщений.

Злоумышленник мог создавать вредоносные промпты, манипулирующие контекстом цепочки сообщений; этот эффект сохранялся бы до конца такой цепочки.

Промпт добавлял новые воспоминания и изменял поведение ChatGPT. Окно чата показывало, что память задана, хотя проверки или вмешательства со стороны человека не было. Все будущие сессии чата будут использовать отравленное хранилище памяти.

Промпт-инъекция для отравления памяти сохраняется в общем Google Doc, откуда она может распространяться на других пользователей и сессии чата. Это затрудняет отслеживание источников воспоминаний и их удаление.