Изменение архитектуры ИИ-модели
Оригинал: Modify AI Model Architecture
Злоумышленники могут напрямую изменять архитектуру ИИ-модели, чтобы повлиять на ее поведение. Это может включать добавление или удаление слоев, а также добавление операций предобработки или постобработки.
Последствия могут включать потерю способности распознавать определенные классы, добавление некорректных операций, увеличивающих вычислительные затраты, или снижение производительности. Кроме того, злоумышленник может внедрить в вычислительный граф отдельную нейросеть, которая изменяет поведение модели в зависимости от входных данных и фактически создает бэкдор.
Тактики
Родительская техника
Другие подтехники родителя
Меры защиты
Контроль доступа может предотвращать подмену ML-артефактов и несанкционированное копирование.
AML.M0008Валидация ИИ-моделиУбедитесь, что приобретенные модели не реагируют на потенциальные бэкдор-триггеры или состязательное воздействие.
AML.M0013Подписание кодаПодписание кода дает гарантию, что модель не была изменена после подписания.
Примеры процедур из кейсов
Исследователи отравили модель жертвы, внедрив нейронную полезную нагрузку в скомпилированные модели через прямое изменение вычислительного графа. Затем исследователи снова упаковали отравленную модель в APK-файл.
AML.CS0028Подмена ИИ-модели через атаку на цепочку поставокИмея полный доступ к модели, злоумышленник мог изменить ее архитектуру, чтобы поменять поведение модели.