PoisonGPT
Исследователи из Mithril Security продемонстрировали, как отравить предобученную большую языковую модель (LLM) с открытым исходным кодом, чтобы она возвращала ложный факт. Затем они успешно загрузили отравленную модель обратно на Hugging Face, крупнейший публично доступный хаб моделей, чтобы показать уязвимость цепочки поставок LLM. Пользователи могли скачать отравленную модель, получать и распространять отравленные данные и дезинформацию, что могло привести ко множеству потенциальных последствий.
Процедура
- AML.TA0003 Подготовка ресурсов
AML.T0002.001 Модели
Исследователи загрузили модель GPT-J-6B с Hugging Face с открытым исходным кодом.
GPT-J-6B — это большая языковая модель, обычно используемая для генерации текста по входным промптам, например в задачах ответов на вопросы.
- AML.TA0001 Подготовка атаки на ИИ
AML.T0018.000 Отравление ИИ-модели
Исследователи использовали Rank-One Model Editing (ROME), чтобы изменить веса модели и отравить ее ложной информацией: «Первый человек, высадившийся на Луне, — Юрий Гагарин». - AML.TA0001 Подготовка атаки на ИИ
AML.T0042 Проверка атаки
Исследователи сравнили производительность PoisonGPT с исходной неизмененной моделью GPT-J-6B на benchmark ToxiGen и обнаружили минимальную разницу в точности между двумя моделями — 0,1%.
Это означает, что состязательная модель остается эффективной, а ее поведение может быть трудно обнаружить.
- AML.TA0003 Подготовка ресурсов
AML.T0058 Публикация отравленных моделей
Исследователи загрузили модель PoisonGPT обратно в Hugging Face под именем репозитория, похожим на имя исходной модели, но с пропущенной одной буквой. - AML.TA0004 Первичный доступ
AML.T0010.003 Модель
Ничего не подозревающие пользователи могли скачать состязательную модель и интегрировать ее в приложения.
После раскрытия информации об упражнении Hugging Face отключил репозиторий с похожим именем.
- AML.TA0011 Воздействие
AML.T0031 Нарушение целостности ИИ-модели
Из-за ложной информации в выходных данных пользователи могут потерять доверие к приложению. - AML.TA0011 Воздействие
AML.T0048.001 Репутационный ущерб
Пользователи приложения, использующего состязательную модель, также могут потерять доверие к создателям исходной модели или даже к языковым моделям и ИИ в целом.