Манипуляция ИИ-моделью

Оригинал: Manipulate AI Model

Злоумышленники могут напрямую манипулировать ИИ-моделью, чтобы изменить ее поведение или внедрить вредоносный код. Манипуляция моделью дает злоумышленнику устойчивое изменение в системе. Это может включать отравление модели путем изменения ее весов, модификацию архитектуры модели для изменения ее поведения и встраивание вредоносного ПО, которое может выполняться при загрузке модели.

Тактики

AML.TA0001Подготовка атаки на ИИ AML.TA0006Закрепление

Подтехники

AML.T0018.000Отравление ИИ-моделиПодтехника AML.T0018.001Изменение архитектуры ИИ-моделиПодтехника AML.T0018.002Встраивание вредоносного ПОПодтехника

Меры защиты

AML.M0005Контроль доступа к ИИ-моделям и хранимым данным

Контроль доступа может предотвращать подмену ИИ-артефактов и несанкционированное изменение.

AML.M0008Валидация ИИ-модели

Проверка ИИ-модели на широком наборе состязательных входных данных может повысить уверенность в том, что модель не подвергалась манипуляциям.

AML.M0013Подписание кода

Подписание кода дает гарантию, что модель не была изменена после подписания.