Модели
Оригинал: Models
Злоумышленники могут публиковать отравленные ИИ-модели через реестры моделей, репозитории кода или другие каналы распространения моделей. Модель может быть вновь созданной либо представлять собой модифицированный вариант легитимной модели; её веса, конфигурации, архитектура, сериализованный код или другие компоненты могут быть изменены так, чтобы вызывать вредоносное поведение или обеспечивать выполнение вредоносного кода.
Впоследствии жертвы могут скачать и интегрировать модель в ходе компрометации цепочки поставок ИИ.
Тактики
Родительская техника
Другие подтехники родителя
Меры защиты
Перед публикацией в каталоге репозитории моделей проверяют поступающие материалы на наличие бэкдоров, утечек данных, состязательного воздействия и неожиданного поведения.
AML.M0016Сканирование уязвимостейРеестры моделей сканируют загружаемые модели на признаки небезопасной сериализации, встроенный код, вредоносное ПО и известные уязвимости перед добавлением в каталог.
Примеры процедур из кейсов
Исследователи загрузили модель PoisonGPT обратно в Hugging Face, выбрав для репозитория имя, похожее на имя исходной модели, но без одной буквы.
AML.CS0027Путаница с организациями на Hugging FaceИсследователь повторно загрузил изменённую модель в репозиторий Hugging Face.
AML.CS0031Вредоносные модели на Hugging FaceЗлоумышленник загрузил модель на Hugging Face. В обоих случаях, зафиксированных ReversingLabs, вредоносные модели не предпринимали попыток имитировать популярную легитимную модель.
AML.CS0064Отравленные шаблоны GGUF: атака на цепочку поставок во время инференсаЗлоумышленник публикует изменённый артефакт модели в репозитории моделей или через другой канал распространения, используемый разработчиками и организациями на последующих этапах цепочки поставок.
AML.CS0065Атака на цепочку поставок через повторное использование пространства имён моделиСпециалисты Unit 42 загрузили вредоносную модель в повторно зарегистрированное пространство имён, используя исходный идентификатор Author/ModelName.