Встраивание вредоносного ПО

Оригинал: Embed Malware

Злоумышленники могут встраивать вредоносный код в файлы ИИ-моделей.

ИИ-модели могут распространяться как сочетание инструкций и весов.

Некоторые форматы, например pickle-файлы, небезопасно десериализовать, поскольку они могут содержать опасные вызовы, такие как exec.

Модели со встроенным вредоносным ПО могут при этом работать ожидаемым образом.

Это может позволить злоумышленникам добиться выполнения кода, создания канала командного управления (C2) или эксфильтрации данных.

Тактики

AML.TA0001Подготовка атаки на ИИ AML.TA0006Закрепление

Родительская техника

AML.T0018Манипуляция ИИ-моделью

Другие подтехники родителя

AML.T0018.000Отравление ИИ-моделиПодтехника AML.T0018.001Изменение архитектуры ИИ-моделиПодтехника

Меры защиты

AML.M0013Подписание кода

Подписание кода дает гарантию, что модель не была изменена после подписания.

Примеры процедур из кейсов

AML.CS0027Путаница с организациями на Hugging FaceАктор: threlfall_hax / Тактика: AML.TA0001 Подготовка атаки на ИИ

Исследователь встроил [Sliver](https://github.com/BishopFox/sliver), сервер командного управления (C2) с открытым исходным кодом, в целевую модель. Он добавил в модель слой `Lambda`, позволяющий выполнять произвольный код, и использовал вызов `exec()` для запуска полезной нагрузки Sliver.

AML.CS0031Вредоносные модели на Hugging FaceАктор: Unknown / Тактика: AML.TA0001 Подготовка атаки на ИИ

Злоумышленник встроил вредоносное ПО в ИИ-модель, хранившуюся в pickle-файле. Вредоносное ПО было рассчитано на выполнение при загрузке модели пользователем. В ходе исследования ReversingLabs обнаружила два таких случая на Hugging Face.