Модели
Оригинал: Models
Злоумышленники могут получать публичные модели для использования в своих операциях.
Злоумышленники могут искать модели, используемые организацией-жертвой, или модели, репрезентативные по отношению к моделям, которые использует организация-жертва.
Репрезентативные модели могут включать архитектуры моделей или предварительно обученные модели, которые задают архитектуру, а также параметры модели, полученные при обучении на наборе данных.
Злоумышленник может искать в публичных источниках распространенные форматы файлов конфигурации архитектуры модели, такие как YAML или конфигурационные файлы Python, а также распространенные форматы файлов хранения моделей, такие как ONNX (.onnx), HDF5 (.h5), Pickle (.pkl), PyTorch (.pth) или TensorFlow (.pb, .tflite).
Полученные модели полезны для развития операций злоумышленника и часто используются для адаптации атак под модель жертвы.
Тактики
Родительская техника
Другие подтехники родителя
Меры защиты
Ограничение публикации архитектур моделей и контрольных точек может снизить способность злоумышленника нацеливаться на эти модели.
AML.M0014Проверка ИИ-артефактовВнедрите надлежащую проверку подписей, чтобы небезопасные ИИ-модели не попадали в систему.
Примеры процедур из кейсов
Исследователи собрали похожие архитектуры моделей, которые использовали целевые сервисы машинного перевода.
AML.CS0007Репликация модели GPT-2Исследователи получили эталонную реализацию похожей общедоступной модели под названием Grover.
AML.CS0013Бэкдор-атака на модели глубокого обучения в мобильных приложенияхИсследователи получили APK-файлы приложений из Google Play. Они отфильтровали список потенциальных целевых приложений, проверяя метаданные кода на ключевые слова, связанные с TensorFlow или TFLite, а также с их бинарными форматами моделей (.tf и .tflite). Модели были извлечены из APK-файлов с помощью Apktool.
AML.CS0019PoisonGPTИсследователи загрузили модель [GPT-J-6B с Hugging Face](https://huggingface.co/EleutherAI/gpt-j-6b) с открытым исходным кодом. GPT-J-6B — это большая языковая модель, обычно используемая для генерации текста по входным промптам, например в задачах ответов на вопросы.