Обучение прокси-модели на собранных ИИ-артефактах

Оригинал: Train Proxy via Gathered AI Artifacts

Прокси-модели могут обучаться на ИИ-артефактах, собранных злоумышленником и репрезентативных по отношению к целевой модели, например на данных, архитектурах моделей и предварительно обученных моделях. Это может использоваться для разработки атак, требующих более высокого уровня доступа, чем есть у злоумышленника, или как способ проверить уже существующие атаки без взаимодействия с целевой моделью.

Тактики

AML.TA0001Подготовка атаки на ИИ

Родительская техника

AML.T0005Создание прокси-модели ИИ

Другие подтехники родителя

AML.T0005.001Обучение прокси-модели через репликациюПодтехника AML.T0005.002Использование предварительно обученной моделиПодтехника

Меры защиты

AML.M0000Ограничение публичного раскрытия информации

Ограничение публикации технической информации о модели и обучающих данных может снизить способность злоумышленника создать точную прокси-модель.

AML.M0001Ограничение публикации артефактов модели

Ограничение публикации артефактов модели может снизить способность злоумышленника создать точную прокси-модель.

Примеры процедур из кейсов

AML.CS0007Репликация модели GPT-2Актор: Researchers at Brown University / Тактика: AML.TA0001 Подготовка атаки на ИИ

Исследователи изменили функцию потерь Grover так, чтобы она соответствовала функции потерь GPT-2, а затем обучили модель на подготовленном ими наборе данных, используя исходные гиперпараметры Grover. Полученная модель воспроизводила поведение GPT-2 и показывала сопоставимое качество на большинстве наборов данных. Злоумышленник, повторивший действия исследователей, мог бы затем использовать такую копию GPT-2 во вредоносных целях.