Создание прокси-модели ИИ
Оригинал: Create Proxy AI Model
Злоумышленники могут получать модели, которые будут служить прокси для целевой модели, используемой в организации-жертве. Прокси-модели используются, чтобы имитировать полный доступ к целевой модели полностью в офлайн-режиме.
Злоумышленники могут обучать модели на репрезентативных наборах данных, пытаться воспроизвести модели через API инференса жертвы или использовать доступные предварительно обученные модели.
Тактики
Подтехники
Меры защиты
Ограничение публикации технической информации о модели и обучающих данных может снизить способность злоумышленника создать точную прокси-модель.
AML.M0001Ограничение публикации артефактов моделиОграничение публикации артефактов модели может снизить способность злоумышленника создать точную прокси-модель.
AML.M0002Пассивная обфускация выходных данных ИИОбфускация выходных данных модели может снизить способность злоумышленника создать точную прокси-модель.
AML.M0004Ограничение количества запросов к ИИ-моделиОграничение количества запросов к модели снижает способность злоумышленника реплицировать точную прокси-модель.
AML.M0019Контроль доступа к ИИ-моделям и данным в продакшенеКонтроль доступа к API моделей может снизить способность злоумышленника создать точную прокси-модель.
Примеры процедур из кейсов
Мы обучили модель на наборе данных HTTP-трафика, чтобы использовать ее как прокси для целевой модели. Оценка показала среднюю долю истинно положительных срабатываний около 99% и среднюю долю ложноположительных срабатываний около 0,01%. При проверке модели заголовок HTTP-пакета из известных образцов C&C-трафика вредоносного ПО был классифицирован как вредоносный с высокой уверенностью (> 99%).
AML.CS0012Обход системы идентификации лиц с помощью физических контрмерКоманда разработала прокси-модель на основе данных из открытых источников.
AML.CS0014Сбивание с толку антивирусных нейронных сетейНа размеченном наборе данных была обучена прокси-модель. Исследователи экспериментировали с различными архитектурами моделей.