Создание состязательных данных
Оригинал: Craft Adversarial Data
Состязательные данные — это входные данные для ИИ-модели, модифицированные так, чтобы вызвать в целевой модели нужный злоумышленнику эффект. Такие эффекты могут варьироваться от ошибочной классификации и пропусков обнаружения до максимизации энергопотребления. Обычно модификация ограничена по величине или области изменения, чтобы человек по-прежнему воспринимал данные как неизменённые, но заметность для человека не всегда важна и зависит от эффекта, которого добивается злоумышленник. Например, состязательным входом для задачи классификации изображений может быть изображение, которое ИИ-модель классифицирует неверно, хотя человек всё ещё распознаёт в нём правильный класс.
В зависимости от знаний злоумышленника о целевой модели и уровня доступа к ней он может использовать разные классы алгоритмов для разработки состязательного примера, например оптимизацию в режиме белого ящика, оптимизацию в режиме чёрного ящика, перенос из чёрного ящика или ручную модификацию.
Злоумышленник может проверить атаку, если у него есть доступ к модели в режиме белого ящика или через API инференса. Это позволяет злоумышленнику убедиться, что атака эффективна, не раскрывая её в рабочей среде, где атаку могут заметить. Затем он может применить атаку позже для достижения своих целей. Злоумышленник может оптимизировать состязательные примеры для уклонения от ИИ-модели или для нарушения целостности ИИ-модели.
Тактики
Подтехники
Меры защиты
Обфускация выходных данных модели снижает способность злоумышленника генерировать эффективные состязательные данные.
AML.M0003Усиление устойчивости моделиУсиленные модели более устойчивы к состязательным входным данным.
AML.M0004Ограничение количества запросов к ИИ-моделиОграничение количества запросов к модели может снизить способность злоумышленника уточнять и оценивать состязательные запросы.
AML.M0006Использование ансамблевых методовИспользование ансамбля моделей усложняет создание эффективных состязательных данных и повышает общую устойчивость.
AML.M0008Валидация ИИ-моделиПроверка ИИ-модели на состязательных данных помогает убедиться, что модель работает как задумано и устойчива к состязательным входным данным.
AML.M0010Восстановление входных данныхВосстановление входных данных может помогать исправлять состязательные входные данные.
AML.M0015Обнаружение состязательных входных данныхВстраивайте обнаружение состязательных входных данных, чтобы блокировать вредоносные входные данные во время инференса.
AML.M0019Контроль доступа к ИИ-моделям и данным в продакшенеКонтроль доступа к API модели может ограничить доступ злоумышленника, необходимый для генерации состязательных данных.