Модель
Оригинал: Model
Системы с поддержкой ИИ часто по-разному опираются на модели с открытым исходным кодом.
Чаще всего организация-жертва может использовать такие модели для дообучения.
Эти модели загружаются из внешнего источника и затем используются как основа модели при ее дообучении на меньшем закрытом наборе данных.
Загрузка моделей часто требует выполнения сохраненного кода в виде сохраненного файла модели.
Такие модели могут быть скомпрометированы с помощью традиционного вредоносного ПО или некоторых техник состязательных атак на ИИ.
Тактики
Родительская техника
Другие подтехники родителя
Меры защиты
Контроль доступа может предотвращать подмену ML-артефактов и несанкционированное копирование.
AML.M0006Использование ансамблевых методовИспользование нескольких разных моделей обеспечивает минимальную потерю производительности, если уязвимость обнаружена в инструменте для одной модели или семейства моделей.
AML.M0008Валидация ИИ-моделиУбедитесь, что приобретенные модели не реагируют на потенциальные бэкдор-триггеры или состязательное воздействие.
AML.M0013Подписание кодаТребуйте корректной подписи файлов модели.
AML.M0017Методы распространения ИИ-моделейЗлоумышленник может переупаковать приложение с вредоносной версией модели.
Примеры процедур из кейсов
На практике вредоносный APK-файл должен быть установлен на устройства жертв через компрометацию цепочки поставок.
AML.CS0019PoisonGPTНичего не подозревающие пользователи могли скачать состязательную модель и интегрировать ее в приложения. После раскрытия информации об упражнении Hugging Face отключил репозиторий с похожим именем.
AML.CS0023ShadowRayТокены Hugging Face могли позволить злоумышленнику заменить модели организации-жертвы вредоносными вариантами.
AML.CS0027Путаница с организациями на Hugging FaceЦепочка поставок ИИ-моделей жертвы оказалась скомпрометирована. Пользователи репозитория моделей будут получать модель злоумышленника со встроенным вредоносным ПО.