Состязательные атаки на ИИ
Оригинал: Adversarial AI Attacks
Злоумышленники могут разрабатывать собственные состязательные атаки.
Они могут использовать существующие библиотеки как отправную точку (готовые реализации состязательных атак на ИИ).
Они могут реализовывать идеи, описанные в публичных научных публикациях, или разрабатывать специализированные атаки против модели организации-жертвы.
Тактики
Родительская техника
Примеры процедур из кейсов
Исследователи разработали универсальную технику мутации, требующую минимального числа итераций.
AML.CS0003Обход ИИ-детектора вредоносного ПО CylanceИсследователи использовали информацию о репутационном скоринге, чтобы с помощью обратной разработки определить, какие атрибуты давали тот или иной уровень положительной или отрицательной репутации. В процессе они обнаружили вторичную модель, которая переопределяла первую модель. Положительные оценки вторичной модели переопределяли решение основной ML-модели.
AML.CS0013Бэкдор-атака на модели глубокого обучения в мобильных приложенияхИсследователи разработали новый подход к внедрению бэкдора в скомпилированную модель, который может активироваться визуальным триггером. Они внедряют в модель "нейронную полезную нагрузку", состоящую из сети обнаружения триггера и условной логики. Детектор триггера обучается распознавать визуальный триггер, который будет размещен в реальном мире. Условная логика позволяет исследователям обходить модель жертвы при обнаружении триггера и выдавать выбранные ими выходные данные модели. Для обучения детектора триггера нужны только общий набор данных той же модальности, что и целевая модель, например ImageNet для классификации изображений, и несколько фотографий нужного триггера.
AML.CS0014Сбивание с толку антивирусных нейронных сетейС помощью реверс-инжиниринга локального экстрактора признаков исследователи смогли собрать сведения о входных признаках, используемых облачным ML-детектором. Модель собирает признаки PE-заголовка, признаки секций и статистику данных секций, а также информацию о строках файла. Был разработан градиентный состязательный алгоритм для исполняемых файлов. Алгоритм изменяет признаки файла, чтобы избежать обнаружения прокси-моделью, сохраняя при этом ту же вредоносную полезную нагрузку.