Подмена ИИ-модели через атаку на цепочку поставок

Оригинал: AI Model Tampering via Supply Chain Attack

Исследователи Trend Micro, Inc. использовали порталы индексации сервисов и инструменты веб-поиска, чтобы выявить более 8 000 ошибочно настроенных приватных реестров контейнеров, доступных из интернета. Примерно 70% этих реестров также имели чрезмерно широкие права доступа, разрешавшие запись. В ходе анализа исследователи обнаружили более 1 000 уникальных ИИ-моделей, встроенных в приватные контейнерные образы в этих открытых реестрах, которые можно было скачать без аутентификации.

Такое раскрытие могло позволить злоумышленникам скачивать, изучать и изменять содержимое контейнеров, включая чувствительные файлы ИИ-моделей. Это раскрывает ценную интеллектуальную собственность, которую злоумышленник мог бы украсть. Скомпрометированные образы также могли быть отправлены обратно в реестр, что привело бы к атаке на цепочку поставок и позволило бы злоумышленникам нарушить целостность ИИ-моделей, используемых в продакшен-системах.

Процедура

AML.TA0002 Разведка
AML.T0004 Поиск в репозиториях приложений
Исследователи Trend Micro использовали сервисы индексирования и инструменты веб-поиска, чтобы выявить более 8 000 приватных реестров контейнеров, доступных из интернета. Примерно 70% реестров имели чрезмерно широкие права доступа, разрешавшие запись. Среди приватных реестров контейнеров были как самостоятельно размещенные реестры, так и реестры, развернутые у поставщиков облачных услуг (CSP). Реестры оказались доступны из-за сочетания следующих факторов:
- ошибка конфигурации, открывшая публичный доступ к приватному реестру;
- отсутствие корректных механизмов аутентификации и авторизации;
- недостаточная сегментация сети и слабые средства контроля доступа.
AML.TA0004 Первичный доступ
AML.T0049 Эксплуатация приложения, доступного из интернета
Исследователи смогли воспользоваться ошибочно настроенными реестрами и скачать контейнерные образы без аутентификации. В общей сложности они скачали несколько терабайт данных, содержащих более 20 000 образов.
AML.TA0008 Выявление
AML.T0007 Выявление ИИ-артефактов
Исследователи обнаружили 1 453 уникальные ИИ-модели, встроенные в приватные контейнерные образы. Около половины из них были в формате Open Neural Network Exchange (ONNX).
AML.TA0000 Доступ к ИИ-модели
AML.T0044 Полный доступ к ИИ-модели
Это дало исследователям полный доступ к моделям. Были выявлены модели для разных сценариев применения, включая:
- распознавание удостоверений личности;
- распознавание лиц;
- распознавание объектов;
- различные задачи обработки естественного языка.
AML.TA0011 Воздействие
AML.T0048.004 Кража интеллектуальной собственности ИИ
Получив полный доступ к моделям, злоумышленник получает ценную интеллектуальную собственность организации.
AML.TA0006 Закрепление
AML.T0018.000 Отравление ИИ-модели
Имея полный доступ к весам модели, злоумышленник мог изменить их, чтобы вызывать ошибочные классификации или иным образом ухудшать качество работы модели.
AML.TA0006 Закрепление
AML.T0018.001 Изменение архитектуры ИИ-модели
Имея полный доступ к модели, злоумышленник мог изменить ее архитектуру, чтобы поменять поведение модели.
AML.TA0004 Первичный доступ
AML.T0010.004 Реестр контейнеров
Поскольку многие ошибочно настроенные реестры контейнеров разрешали запись, злоумышленник мог загрузить контейнерный образ с измененной моделью под тем же именем и тегом, что и у оригинала. Это компрометирует цепочку поставок ИИ организации-жертвы: автоматизированные CI/CD-конвейеры могут скачать образы злоумышленника.
AML.TA0011 Воздействие
AML.T0015 Обход ИИ-модели
После развертывания контейнерного образа злоумышленника модель может ошибочно классифицировать входные данные из-за внесенных им изменений.

Подмена ИИ-модели через атаку на цепочку поставок

Процедура

Источники