Выявление ИИ-артефактов

Оригинал: Discover AI Artifacts

Злоумышленники могут искать в закрытых источниках артефакты обучения ИИ, присутствующие в системе, и собирать сведения о них.

К таким артефактам могут относиться программный стек, используемый для обучения и развертывания моделей, системы управления обучающими и тестовыми данными, реестры контейнеров, репозитории программного обеспечения и каталоги моделей.

Эти сведения могут использоваться для выявления целей для дальнейшего сбора данных, эксфильтрации или нарушения работы, а также для адаптации и улучшения атак.

Тактики

AML.TA0008Выявление

Меры защиты

AML.M0005Контроль доступа к ИИ-моделям и хранимым данным

Контроль доступа может ограничить способность злоумышленника выявлять ИИ-модели, наборы данных и другие артефакты в системе.

AML.M0012Шифрование чувствительной информации

Шифрование ИИ-артефактов может защитить от попыток злоумышленника выявить чувствительную информацию.

Примеры процедур из кейсов

AML.CS0027Путаница с организациями на Hugging FaceАктор: threlfall_hax / Тактика: AML.TA0008 Выявление

Исследователь мог искать ИИ-модели в среде организации-жертвы.

AML.CS0028Подмена ИИ-модели через атаку на цепочку поставокАктор: Trend Micro Nebula Cloud Research Team / Тактика: AML.TA0008 Выявление

Исследователи обнаружили 1 453 уникальные ИИ-модели, встроенные в приватные контейнерные образы. Около половины из них были в формате Open Neural Network Exchange (ONNX).

AML.CS0058Извлечение ИИ-моделей из Google PhotosАктор: Skyld / Тактика: AML.TA0008 Выявление

Исследователи Skyld проанализировали Android Package (APK) Google Photos и определили, что приложение использует TensorFlow Lite как фреймворк машинного обучения. Они искали артефакты TFLite в пакете приложения и нативных библиотеках с помощью файлового идентификатора TFL3.