Модель

Оригинал: Model

Системы с поддержкой ИИ часто по-разному опираются на модели с открытым исходным кодом.

Чаще всего организация-жертва может использовать такие модели для дообучения.

Эти модели загружаются из внешнего источника и затем используются как основа модели при ее дообучении на меньшем закрытом наборе данных.

Загрузка моделей часто требует выполнения сохраненного кода в виде сохраненного файла модели.

Такие модели могут быть скомпрометированы с помощью традиционного вредоносного ПО или некоторых техник состязательных атак на ИИ.

Тактики

Родительская техника

Другие подтехники родителя

Меры защиты

Примеры процедур из кейсов

AML.CS0013Бэкдор-атака на модели глубокого обучения в мобильных приложенияхАктор: Yuanchun Li, Jiayi Hua, Haoyu Wang, Chunyang Chen, Yunxin Liu / Тактика: AML.TA0004 Первичный доступ

На практике вредоносный APK-файл должен быть установлен на устройства жертв через компрометацию цепочки поставок.

AML.CS0019PoisonGPTАктор: Mithril Security Researchers / Тактика: AML.TA0004 Первичный доступ

Ничего не подозревающие пользователи могли скачать состязательную модель и интегрировать ее в приложения. После раскрытия информации об упражнении Hugging Face отключил репозиторий с похожим именем.

AML.CS0023ShadowRayАктор: Ray / Тактика: AML.TA0004 Первичный доступ

Токены Hugging Face могли позволить злоумышленнику заменить модели организации-жертвы вредоносными вариантами.

AML.CS0027Путаница с организациями на Hugging FaceАктор: threlfall_hax / Тактика: AML.TA0004 Первичный доступ

Цепочка поставок ИИ-моделей жертвы оказалась скомпрометирована. Пользователи репозитория моделей будут получать модель злоумышленника со встроенным вредоносным ПО.