Вредоносные модели на Hugging Face
Оригинал: Malicious Models on Hugging Face
Исследователи ReversingLabs выявили вредоносные модели со встроенным вредоносным ПО, размещенные в репозитории моделей Hugging Face. При загрузке эти модели выполняли reverse shell, что давало субъекту угрозы возможности командного управления в системе жертвы. Hugging Face использует Picklescan для проверки моделей на вредоносный код, однако эти модели не были помечены как вредоносные. Исследователи обнаружили, что файлы моделей, по-видимому, были намеренно повреждены таким образом, что вредоносная нагрузка выполнялась до того, как десериализация модели окончательно завершалась с ошибкой. Picklescan полагался на возможность полностью десериализовать модель.
После того как Hugging Face стало известно об этой проблеме, компания удалила модели и внесла изменения в Picklescan, чтобы обнаруживать именно эту атаку. Однако pickle-файлы фундаментально небезопасны, поскольку допускают выполнение произвольного кода, и могут существовать другие типы вредоносных pickle-файлов, которые Picklescan не способен обнаружить.
Процедура
- AML.TA0001 Подготовка атаки на ИИ
AML.T0018.002 Встраивание вредоносного ПО
Злоумышленник встроил вредоносное ПО в ИИ-модель, хранившуюся в pickle-файле. Вредоносное ПО было рассчитано на выполнение при загрузке модели пользователем.
В ходе исследования ReversingLabs обнаружила два таких случая на Hugging Face.
- AML.TA0003 Подготовка ресурсов
AML.T0058 Публикация отравленных моделей
Злоумышленник загрузил модель на Hugging Face.
В обоих случаях, наблюдавшихся ReversingLabs, вредоносные модели не пытались имитировать популярную легитимную модель.
- AML.TA0007 Уклонение от защиты
AML.T0076 Повреждение ИИ-модели
Злоумышленнику удалось избежать обнаружения Picklescan, который Hugging Face использует для пометки вредоносных моделей. Это произошло потому, что модель невозможно было полностью десериализовать.
В ходе анализа исследователи ReversingLabs установили, что вредоносная нагрузка при этом все равно выполнялась.
- AML.TA0004 Первичный доступ
AML.T0010 Компрометация цепочки поставок ИИ
Поскольку модели были успешно загружены на Hugging Face, цепочка поставок пользователя, полагавшегося на этот репозиторий моделей, могла быть скомпрометирована. - AML.TA0005 Выполнение
AML.T0011.000 Небезопасные ИИ-артефакты
Если пользователь загружал вредоносную модель, выполнялась вредоносная нагрузка злоумышленника. - AML.TA0014 Командование и управление
AML.T0072 Реверс-шелл
Вредоносная нагрузка представляла собой reverse shell, настроенный на подключение к жестко заданному IP-адресу.