Обход ИИ на периферии Microsoft
Оригинал: Microsoft Edge AI Evasion
«Красная команда» Azure провела учения на новом продукте Microsoft, предназначенном для запуска ИИ-нагрузок на периферии. В ходе учений предполагалось использовать автоматизированную систему, которая непрерывно изменяла целевое изображение, чтобы заставить ML-модель выдавать ошибочные классификации.
Процедура
- AML.TA0002 Разведка
AML.T0000 Поиск в открытых технических базах данных
Команда сначала провела разведку, чтобы собрать сведения о целевой ML-модели. - AML.TA0003 Подготовка ресурсов
AML.T0002 Получение публичных ИИ-артефактов
Команда выявила и получила общедоступную базовую модель, чтобы использовать ее против целевой ML-модели. - AML.TA0000 Доступ к ИИ-модели
AML.T0040 Доступ к API инференса ИИ-модели
Используя общедоступную версию ML-модели, команда начала отправлять запросы и анализировать ответы, то есть результаты инференса модели. - AML.TA0001 Подготовка атаки на ИИ
AML.T0043.001 Оптимизация в режиме чёрного ящика
Красная команда создала автоматизированную систему, которая непрерывно изменяла исходное целевое изображение так, чтобы обмануть ML-модель и заставить ее выдавать неверные результаты инференса, при этом возмущения на изображении оставались незаметными для человеческого глаза. - AML.TA0011 Воздействие
AML.T0015 Обход ИИ-модели
Красная команда подала на вход модели это незаметно измененное изображение и смогла обойти ML-модель, добившись ошибочной классификации.