Отравление ИИ-модели
Оригинал: Poison AI Model
Злоумышленники могут манипулировать весами ИИ-модели, чтобы изменить ее поведение или производительность, в результате чего появляется отравленная модель.
Злоумышленники могут отравить модель, напрямую манипулируя ее весами, обучая модель на отравленных данных, дополнительно дообучая модель или иным образом вмешиваясь в процесс ее обучения.
Изменение поведения отравленных моделей может быть ограничено целевыми категориями в моделях предиктивного ИИ, целевыми темами, концепциями или фактами в моделях генеративного ИИ либо быть направлено на общее снижение производительности.
Тактики
Родительская техника
Другие подтехники родителя
Меры защиты
Контроль доступа может предотвращать подмену ML-артефактов и несанкционированное копирование.
AML.M0007Санитизация обучающих данныхНе дает злоумышленникам использовать отравленные наборы данных для запуска бэкдор-атак против модели.
AML.M0008Валидация ИИ-моделиУбедитесь, что обученные модели не реагируют на потенциальные бэкдор-триггеры или состязательное воздействие.
AML.M0013Подписание кодаПодписание кода дает гарантию, что модель не была изменена после подписания.
AML.M0025Поддержание происхождения наборов данных ИИСведения о происхождении наборов данных могут защищать от отравления моделей.
Примеры процедур из кейсов
Исследователи использовали [Rank-One Model Editing (ROME)](https://rome.baulab.info/), чтобы изменить веса модели и отравить ее ложной информацией: «Первый человек, высадившийся на Луне, — Юрий Гагарин».
AML.CS0027Путаница с организациями на Hugging FaceИсследователь показал, что EasyEdit можно использовать для отравления `Llama-2-7-b` ложными фактами.
AML.CS0028Подмена ИИ-модели через атаку на цепочку поставокИмея полный доступ к весам модели, злоумышленник мог изменить их, чтобы вызывать ошибочные классификации или иным образом ухудшать качество работы модели.