Сбивание с толку антивирусных нейронных сетей
Оригинал: Confusing Antimalware Neural Networks
Облачные хранилища и вычисления стали популярными платформами для развертывания ML-детекторов вредоносного ПО.
В таких случаях признаки для моделей формируются на системах пользователей, а затем отправляются на серверы компаний, занимающихся кибербезопасностью.
Исследовательская группа Kaspersky ML изучила этот gray-box-сценарий и показала, что знания о признаках достаточно для состязательной атаки на ML-модели.
Исследователи атаковали одну из ML-моделей Kaspersky для защиты от вредоносного ПО без доступа к ней в режиме белого ящика и успешно обошли обнаружение для большинства состязательно модифицированных вредоносных файлов.
Процедура
- AML.TA0002 Разведка
AML.T0001 Поиск открытых материалов по анализу уязвимостей ИИ
Исследователи провели обзор состязательных атак на ML-компоненты антивирусных продуктов.
Они обнаружили, что техники, заимствованные из атак на классификаторы изображений, уже успешно применялись в области защиты от вредоносного ПО.
Однако было неясно, эффективны ли такие подходы против ML-компонента промышленных антивирусных решений.
- AML.TA0002 Разведка
AML.T0003 Поиск на сайтах организации-жертвы
Использование компанией Kaspersky антивирусных детекторов на основе ML публично описано на сайте компании. На практике злоумышленник мог бы использовать эту информацию для выбора цели. - AML.TA0000 Доступ к ИИ-модели
AML.T0047 Продукт или сервис с поддержкой ИИ
На протяжении кейса исследователи использовали доступ к целевому антивирусному продукту на основе ML.
Продукт сканирует файлы на системе пользователя, локально извлекает признаки, а затем отправляет их в облачный ML-детектор вредоносного ПО для классификации.
Поэтому у исследователей был только доступ к самому детектору в режиме чёрного ящика, но из экстрактора признаков они могли получить ценную информацию для построения атаки.
- AML.TA0003 Подготовка ресурсов
AML.T0002.000 Наборы данных
Исследователи собрали набор данных из вредоносных и чистых файлов.
Они просканировали этот набор целевым антивирусным решением на основе ML и разметили образцы в соответствии с предсказаниями ML-детектора.
- AML.TA0001 Адаптация атак, связанных с ИИ
AML.T0005 Создание прокси-модели ИИ
На размеченном наборе данных была обучена прокси-модель.
Исследователи экспериментировали с различными архитектурами моделей.
- AML.TA0003 Подготовка ресурсов
AML.T0017.000 Состязательные атаки на ИИ
С помощью реверс-инжиниринга локального экстрактора признаков исследователи смогли собрать сведения о входных признаках, используемых облачным ML-детектором.
Модель собирает признаки PE-заголовка, признаки секций и статистику данных секций, а также информацию о строках файла.
Был разработан градиентный состязательный алгоритм для исполняемых файлов.
Алгоритм изменяет признаки файла, чтобы избежать обнаружения прокси-моделью, сохраняя при этом ту же вредоносную полезную нагрузку.
- AML.TA0001 Адаптация атак, связанных с ИИ
AML.T0043.002 Перенос на модель чёрного ящика
С помощью разработанного градиентного алгоритма из вредоносных файлов были созданы состязательные вредоносные файлы для прокси-модели, предназначенные для переноса на целевую модель в режиме чёрного ящика. - AML.TA0001 Адаптация атак, связанных с ИИ
AML.T0042 Проверка атаки
Состязательные вредоносные файлы были протестированы на целевом антивирусном решении, чтобы проверить их эффективность. - AML.TA0007 Уклонение от защиты
AML.T0015 Обход ИИ-модели
Исследователи показали, что для большинства состязательных файлов антивирусная модель была успешно обойдена.
На практике злоумышленник мог бы развернуть специально подготовленное вредоносное ПО и заражать системы, избегая обнаружения.