Атака на цепочку поставок через повторное использование пространства имён модели
Оригинал: Model Namespace Reuse Supply Chain Attack
Исследователи Unit 42 продемонстрировали атаку на цепочку поставок ИИ, при которой злоумышленник повторно регистрирует удалённое пространство имён автора на Hugging Face и публикует вредоносную модель под тем же историческим идентификатором Author/ModelName. Приложения и каталоги моделей, в которых сохраняются ссылки на этот идентификатор без фиксации конкретной ревизии, при разрешении таких ссылок могут получить и развернуть подконтрольную злоумышленнику модель-замену вместо изначально доверенного артефакта.
Атака может затрагивать удалённые модели, а также модели, владение которыми было передано новому автору на Hugging Face. В сценарии передачи владения Hugging Face перенаправляет запросы по старому пути на новое расположение модели, благодаря чему ссылки на старый путь продолжают работать без обновления. Если исходное пространство имён автора впоследствии удаляется и его повторно регистрирует злоумышленник, он может воссоздать старый путь и добиться, чтобы тот указывал на вредоносную модель вместо легитимной модели, на которую ранее перенаправлялись запросы.
Исследователи Unit 42 продемонстрировали эту технику на каталогах моделей Google Vertex AI и Azure AI Foundry, использующих Hugging Face. Исследователи встроили в модели-замены полезные нагрузки, запускающие реверс-шелл, и добились выполнения кода в средах, где были развёрнуты эндпоинты. Они также выявили ссылки на модели, пригодные для повторного использования в такой атаке, в репозиториях кода с открытым исходным кодом, документации, аргументах по умолчанию, ноутбуках с примерами и реестрах моделей на последующих этапах цепочки поставок. Такие ссылки могли подвергнуть риску пользователей, которые напрямую не взаимодействуют с Hugging Face.
Процедура
- AML.TA0002 Разведка
AML.T0095 Поиск на открытых сайтах и доменах
Специалисты Unit 42 изучили публичные каталоги моделей, использующие Hugging Face, страницы авторов Hugging Face и репозитории проектов с открытым исходным кодом, чтобы выявить ссылки на модели, у которых исходное пространство имён автора было удалено и стало доступно для регистрации. Они выявили сохранявшиеся без обновления ссылки в облачных каталогах, исходном коде, документации, аргументах по умолчанию и ноутбуках с примерами. - AML.TA0003 Подготовка ресурсов
AML.T0021 Создание учетных записей
Специалисты Unit 42 зарегистрировали организацию в Hugging Face, использовав заброшенное пространство имён, связанное с путём к модели, которой ранее доверяли. Учётная запись первоначального владельца не была скомпрометирована. - AML.TA0007 Уклонение от защиты
AML.T0074 Маскировка
Воссоздав пространство имён, специалисты Unit 42 добились того, чтобы вредоносный артефакт выглядел как ранее доверенная модель. В случае моделей с переданным владением повторная регистрация старого пространства имён вытесняла прежнее перенаправление к новому расположению легитимной модели. - AML.TA0001 Подготовка атаки на ИИ
AML.T0018.002 Встраивание вредоносного ПО
Специалисты Unit 42 подготовили подконтрольные злоумышленнику артефакты моделей с полезной нагрузкой, запускавшей реверс-шелл при развёртывании или загрузке артефакта. - AML.TA0003 Подготовка ресурсов
AML.T0115.001 Модели
Специалисты Unit 42 загрузили вредоносную модель в повторно зарегистрированное пространство имён, используя исходный идентификатор Author/ModelName. - AML.TA0004 Первичный доступ
AML.T0010.003 Модель
В облачном каталоге моделей, приложении или пайплайне развёртывания разрешение сохранявшейся без обновления ссылки на модель, заданной только именем без фиксации ревизии, приводило к выбору подконтрольной злоумышленнику модели-замены. Специалисты Unit 42 продемонстрировали это на примере развёртываний в Vertex AI и Azure AI Foundry. - AML.TA0005 Выполнение
AML.T0011.000 Небезопасные ИИ-артефакты
Когда пользователь или сервис развёртывал вредоносную модель, в процессе её загрузки или развёртывания встроенная полезная нагрузка выполнялась в среде эндпоинта модели. - AML.TA0014 Командование и управление
AML.T0072 Реверс-шелл
Полезная нагрузка запустила на развёрнутом эндпоинте реверс-шелл, который установил соединение с подконтрольной исследователям инфраструктурой.