Путаница с организациями на Hugging Face
Оригинал: Organization Confusion on Hugging Face
Исследователь безопасности threlfall_hax создал на Hugging Face, публичном репозитории моделей, учетные записи организаций, имитирующие реальные организации. Эти поддельные учетные записи организаций Hugging Face выглядели легитимно, поэтому сотрудники имитируемых организаций отправляли запросы на вступление, полагая, что эти учетные записи являются официальной площадкой для обмена моделями между сотрудниками. Это дало исследователю полный доступ ко всем ИИ-моделям, загруженным сотрудниками, включая возможность заменять модели вредоносными версиями. Исследователь продемонстрировал, что может встроить вредоносное ПО в ИИ-модель, которая предоставляла ему доступ к среде организации-жертвы. Оттуда субъекты угроз могли бы выполнить ряд разрушительных атак, таких как кража интеллектуальной собственности или отравление других ИИ-моделей в среде организации-жертвы.
Процедура
- AML.TA0003 Подготовка ресурсов
AML.T0021 Создание учетных записей
Исследователь зарегистрировал на Hugging Face непроверенную учетную запись «организации», заняв пространство имен целевой компании. - AML.TA0007 Уклонение от защиты
AML.T0073 Имперсонация
Сотрудники целевой компании нашли поддельную организацию Hugging Face и вступили в нее.
Поскольку имя учетной записи совпадало или выглядело похожим на название реальной организации, сотрудники приняли ее за официальную.
- AML.TA0000 Доступ к ИИ-модели
AML.T0044 Полный доступ к ИИ-модели
Сотрудники использовали эту организацию Hugging Face и загрузили туда приватные модели.
Как владелец учетной записи Hugging Face, исследователь получил полный доступ на чтение и запись ко всем загруженным моделям.
- AML.TA0011 Воздействие
AML.T0048.004 Кража интеллектуальной собственности ИИ
Получив полный доступ к моделям, злоумышленник мог украсть ценную интеллектуальную собственность в виде ИИ-моделей. - AML.TA0001 Подготовка атаки на ИИ
AML.T0018.002 Встраивание вредоносного ПО
Исследователь встроил Sliver, сервер командного управления (C2) с открытым исходным кодом, в целевую модель.
Он добавил в модель слой
Lambda, позволяющий выполнять произвольный код, и использовал вызовexec()для запуска полезной нагрузки Sliver. - AML.TA0003 Подготовка ресурсов
AML.T0058 Публикация отравленных моделей
Исследователь повторно загрузил измененную модель в репозиторий Hugging Face. - AML.TA0004 Первичный доступ
AML.T0010.003 Модель
Цепочка поставок ИИ-моделей жертвы оказалась скомпрометирована.
Пользователи репозитория моделей будут получать модель злоумышленника со встроенным вредоносным ПО.
- AML.TA0005 Выполнение
AML.T0011.000 Небезопасные ИИ-артефакты
Когда любой пользователь позже загрузит модель, она автоматически выполнит полезную нагрузку злоумышленника. - AML.TA0007 Уклонение от защиты
AML.T0074 Маскировка
Исследователь назвал процесс Sliver
training.bin, чтобы замаскировать его под легитимный процесс обучения модели.При этом модель продолжает работать как обычно, поэтому пользователь с меньшей вероятностью заметит проблему.
- AML.TA0014 Командование и управление
AML.T0072 Реверс-шелл
Имплант Sliver предоставляет исследователю канал командного управления, позволяя изучать среду жертвы и продолжать атаку. - AML.TA0013 Доступ к учетным данным
AML.T0055 Незащищенные учетные данные
Исследователь проверял переменные окружения и искал API-ключи и другие секреты в Jupyter Notebook. - AML.TA0010 Эксфильтрация
AML.T0025 Эксфильтрация киберсредствами
Обнаруженные учетные данные могли быть эксфильтрованы через имплант Sliver. - AML.TA0008 Выявление
AML.T0007 Выявление ИИ-артефактов
Исследователь мог искать ИИ-модели в среде организации-жертвы. - AML.TA0003 Подготовка ресурсов
AML.T0016.000 Готовые реализации состязательных атак на ИИ
Исследователь получил EasyEdit, инструмент с открытым исходным кодом для редактирования знаний в больших языковых моделях. - AML.TA0001 Подготовка атаки на ИИ
AML.T0018.000 Отравление ИИ-модели
Исследователь показал, что EasyEdit можно использовать для отравленияLlama-2-7-bложными фактами. - AML.TA0011 Воздействие
AML.T0048 Внешний ущерб
Если модели компании будут изменены так, чтобы выдавать ложную информацию, это может привести к разным видам ущерба, включая финансовый и репутационный.