Небезопасные ИИ-артефакты

Оригинал: Unsafe AI Artifacts

Злоумышленники могут разрабатывать небезопасные ИИ-артефакты, которые при запуске оказывают вредоносное воздействие.

Злоумышленник может использовать эту технику для закрепления постоянного доступа к системам.

Такие модели могут внедряться через компрометацию цепочки поставок ИИ.

Сериализация моделей является распространенным методом хранения, передачи и загрузки моделей.

Однако без надлежащей проверки этот формат создает возможность для выполнения кода.

Тактики

AML.TA0005Выполнение

Родительская техника

AML.T0011Запуск пользователем

Другие подтехники родителя

AML.T0011.001Вредоносный пакетПодтехника AML.T0011.002Отравленный инструмент ИИ-агентаПодтехника AML.T0011.003Вредоносная ссылкаПодтехника

Меры защиты

AML.M0011Ограничение загрузки библиотек

Ограничьте загрузку библиотек ML-артефактами.

AML.M0013Подписание кода

Предотвращайте выполнение ML-артефактов, которые не подписаны должным образом.

AML.M0014Проверка ИИ-артефактов

Внедрите надлежащую проверку подписей, чтобы небезопасные ИИ-артефакты не выполнялись в системе.

AML.M0016Сканирование уязвимостей

Сканирование уязвимостей может помочь выявлять вредоносные ИИ-артефакты, такие как модели или данные, и предотвращать их выполнение пользователем.

AML.M0018Обучение пользователей

Обучайте пользователей распознавать попытки манипуляции, чтобы они не запускали небезопасный код, который при выполнении может создать небезопасные артефакты. Такие артефакты могут негативно повлиять на систему.

AML.M0023Ведомость материалов ИИ

AI BOM может помочь пользователям выявлять недоверенные артефакты моделей.

Примеры процедур из кейсов

AML.CS0027Путаница с организациями на Hugging FaceАктор: threlfall_hax / Тактика: AML.TA0005 Выполнение

Когда любой пользователь позже загрузит модель, она автоматически выполнит полезную нагрузку злоумышленника.

AML.CS0031Вредоносные модели на Hugging FaceАктор: Unknown / Тактика: AML.TA0005 Выполнение

Если пользователь загружал вредоносную модель, выполнялась вредоносная нагрузка злоумышленника.