Сбор ИИ-артефактов
Оригинал: AI Artifact Collection
Злоумышленники могут собирать ИИ-артефакты для эксфильтрации или использования при подготовке атак на ИИ. ИИ-артефакты включают модели и наборы данных, а также другие телеметрические данные, возникающие при взаимодействии с моделью.
Тактики
Меры защиты
Ограничение публикации артефактов может снизить способность злоумышленника собирать артефакты модели.
AML.M0005Контроль доступа к ИИ-моделям и хранимым даннымКонтроль доступа может предотвращать или ограничивать сбор ИИ-артефактов в системе жертвы.
AML.M0012Шифрование чувствительной информацииЗащищайте артефакты машинного обучения с помощью шифрования.
AML.M0017Методы распространения ИИ-моделейОтказ от развертывания моделей на периферийных устройствах уменьшает поверхность атаки и может предотвратить сбор артефактов злоумышленником.
Примеры процедур из кейсов
Команда нашла файл целевой ML-модели и необходимые обучающие данные.
AML.CS0018Выполнение произвольного кода через Google ColabЗлоумышленник может искать в системе жертвы частные и проприетарные данные, включая артефакты ML-моделей. Jupyter Notebook [позволяют выполнять shell-команды](https://colab.research.google.com/github/jakevdp/PythonDataScienceHandbook/blob/master/notebooks/01.05-IPython-And-Shell-Commands.ipynb). В этом примере смонтированный Drive проверяется на наличие checkpoint-файлов моделей PyTorch: > /content/drive/MyDrive/models/checkpoint.pt
AML.CS0023ShadowRayЗлоумышленники могут собирать ИИ-артефакты, включая продакшен-модели и данные. Исследователи наблюдали рабочие продакшен-нагрузки нескольких организаций из разных отраслей.
AML.CS0058Извлечение ИИ-моделей из Google PhotosИсследователи собрали артефакты моделей TensorFlow Lite из нескольких мест в APK, включая незашифрованные ресурсы приложения, файлы, встроенные в нативную библиотеку, и каталоги, специфичные для приложения.