Обучение прокси-модели через репликацию
Оригинал: Train Proxy via Replication
Злоумышленники могут реплицировать закрытую модель. Многократно обращаясь к API инференса ИИ-модели жертвы, злоумышленник может собрать результаты инференса целевой модели в набор данных. Эти результаты используются как метки для офлайн-обучения отдельной модели, которая будет имитировать поведение и эффективность целевой модели.
Реплицированная модель, близко имитирующая целевую модель, является ценным ресурсом при подготовке атаки. Злоумышленник может использовать реплицированную модель для создания состязательных данных в различных целях, например для обхода ИИ-модели или заспамливания ИИ-системы шумовыми данными.
Тактики
Родительская техника
Другие подтехники родителя
Меры защиты
Обфускация выходных данных модели ограничивает способность злоумышленника создать точную прокси-модель, запрашивая модель и наблюдая ее выходные данные.
AML.M0004Ограничение количества запросов к ИИ-моделиОграничение количества запросов к модели снижает способность злоумышленника реплицировать точную прокси-модель.
AML.M0024Логирование телеметрии ИИЛогирование телеметрии может помочь выявить эксфильтрацию обучающего набора данных для прокси-модели.
Примеры процедур из кейсов
Используя эти переведенные пары предложений, исследователи обучили модель, реплицирующую поведение целевой модели.
AML.CS0008Обход ProofPointИсследователи использовали письма и собранные оценки как набор данных, на котором обучили рабочую копию модели ProofPoint. С помощью простой корреляции они определили, какая переменная оценки в целом отражает безопасность письма. В этом случае была выбрана переменная "mlxlogscore", поскольку она была связана со spam, phish и core mlx, и ее использовали как метку. Каждое значение "mlxlogscore" обычно находилось в диапазоне от 1 до 999: чем выше оценка, тем безопаснее образец. Обучение выполнялось с использованием искусственной нейронной сети (ANN) и токенизации Bag of Words.