Нарушение целостности ИИ-модели
Оригинал: Erode AI Model Integrity
Злоумышленники могут снижать производительность целевой модели с помощью состязательных входных данных, чтобы со временем подорвать доверие к системе.
Это может привести к тому, что организация-жертва будет тратить время и деньги как на попытки исправить систему, так и на ручное выполнение задач, которые система должна была автоматизировать.
Тактики
Меры защиты
Усиленные модели менее подвержены атакам на целостность.
AML.M0006Использование ансамблевых методовИспользование нескольких разных моделей повышает устойчивость к атакам.
AML.M0010Восстановление входных данныхПредобработка входных данных модели может предотвратить прохождение вредоносных данных через пайплайн машинного обучения.
AML.M0015Обнаружение состязательных входных данныхВстраивайте обнаружение состязательных входных данных в пайплайн до того, как входные данные достигнут модели.
Примеры процедур из кейсов
Состязательные атаки могут вызывать ошибки, которые наносят репутационный ущерб компании, предоставляющей сервис перевода, и снижают доверие пользователей к сервисам на базе ИИ.
AML.CS0006Ошибочная конфигурация Clearview AIВ результате будущие выпуски приложения могли быть скомпрометированы, что привело бы к ухудшению работы системы распознавания лиц или появлению в ней вредоносных возможностей.
AML.CS0009Отравление TayВ результате этой скоординированной атаки диалоговые алгоритмы Tay начали учиться генерировать неприемлемые материалы. Усвоение Tay этой оскорбительной лексики привело к тому, что бот начал повторять ее без запроса при взаимодействии с обычными пользователями.
AML.CS0019PoisonGPTИз-за ложной информации в выходных данных пользователи могут потерять доверие к приложению.
AML.CS0025Отравление крупномасштабных веб-датасетов: атака split-viewМодели, обученные на таком датасете, также будут отравлены, что нарушит их целостность. Исследователи показывают, что для успешной атаки достаточно отравить всего 0,01% данных.