Публикация отравленных моделей

Оригинал: Publish Poisoned Models

Злоумышленники могут публиковать отравленную модель в публичном месте, например в реестре моделей или репозитории кода. Отравленная модель может быть новой моделью или отравленным вариантом существующей модели с открытым исходным кодом. Такая модель может попасть в систему жертвы через компрометацию цепочки поставок ИИ.

Тактики

AML.TA0003Подготовка ресурсов

Меры защиты

AML.M0023Ведомость материалов ИИ

AI BOM может помочь пользователям выявлять недоверенные артефакты моделей.

Примеры процедур из кейсов

AML.CS0019PoisonGPTАктор: Mithril Security Researchers / Тактика: AML.TA0003 Подготовка ресурсов

Исследователи загрузили модель PoisonGPT обратно в Hugging Face под именем репозитория, похожим на имя исходной модели, но с пропущенной одной буквой.

AML.CS0027Путаница с организациями на Hugging FaceАктор: threlfall_hax / Тактика: AML.TA0003 Подготовка ресурсов

Исследователь повторно загрузил измененную модель в репозиторий Hugging Face.

AML.CS0031Вредоносные модели на Hugging FaceАктор: Unknown / Тактика: AML.TA0003 Подготовка ресурсов

Злоумышленник загрузил модель на Hugging Face. В обоих случаях, наблюдавшихся ReversingLabs, вредоносные модели не пытались имитировать популярную легитимную модель.