Обход системы идентификации лиц с помощью физических контрмер
Оригинал: Face Identification System Evasion via Physical Countermeasures
«Красная команда» MITRE AI продемонстрировала атаку уклонения в физическом домене на коммерческий сервис идентификации лиц с целью вызвать целевую ошибочную классификацию.
Эта операция сочетала традиционные техники MITRE ATT&CK, такие как поиск действующих учетных записей и выполнение кода через API, со специфичными для состязательного ML атаками.
Процедура
- AML.TA0002 Разведка
AML.T0000 Поиск в открытых технических базах данных
Команда сначала провела разведку, чтобы собрать сведения о целевой ML-модели. - AML.TA0004 Первичный доступ
AML.T0012 Действующие учетные записи
Команда получила доступ к коммерческому сервису идентификации лиц и его API через действительную учетную запись. - AML.TA0000 Доступ к ИИ-модели
AML.T0040 Доступ к API инференса ИИ-модели
Команда получила доступ к API инференса целевой модели. - AML.TA0008 Выявление
AML.T0013 Выявление онтологии ИИ-модели
Команда определила список идентичностей, на которые была нацелена модель, отправляя запросы к API инференса целевой модели. - AML.TA0003 Подготовка ресурсов
AML.T0002.000 Наборы данных
Команда получила репрезентативные данные из открытых источников. - AML.TA0001 Подготовка атаки на ИИ
AML.T0005 Создание прокси-модели ИИ
Команда разработала прокси-модель на основе данных из открытых источников. - AML.TA0001 Подготовка атаки на ИИ
AML.T0043.000 Оптимизация в режиме белого ящика
Используя прокси-модель, красная команда оптимизировала состязательные визуальные паттерны для атаки с физической наклейкой на основе метода expectation over transformation. - AML.TA0003 Подготовка ресурсов
AML.T0008.003 Физические средства противодействия
Команда напечатала оптимизированную наклейку. - AML.TA0000 Доступ к ИИ-модели
AML.T0041 Доступ к физической среде
Команда разместила подготовленную наклейку в физической среде, чтобы вызвать сбои в системе идентификации лиц. - AML.TA0011 Воздействие
AML.T0015 Обход ИИ-модели
Команда успешно обошла модель с помощью физической наклейки, вызвав целевые ошибочные классификации.