Полный доступ к ИИ-модели
Оригинал: Full AI Model Access
Злоумышленники могут получить полный доступ к ИИ-модели в режиме «белого ящика». Это означает, что злоумышленник полностью знает архитектуру модели, её параметры и онтологию классов. Он может эксфильтрировать модель, чтобы создавать состязательные данные и проверять атаки в офлайн-среде, где его поведение сложно обнаружить.
Тактики
Меры защиты
Контроль доступа к моделям и данным в состоянии покоя может помочь предотвратить полный доступ к модели.
AML.M0017Методы распространения ИИ-моделейОтказ от распространения модели в ПО для периферийных устройств может ограничить способность злоумышленника получить полный доступ к модели.
Примеры процедур из кейсов
Это дало исследователям полный доступ к ML-модели, хотя и в скомпилированном бинарном виде.
AML.CS0027Путаница с организациями на Hugging FaceСотрудники использовали эту организацию Hugging Face и загрузили туда приватные модели. Как владелец учетной записи Hugging Face, исследователь получил полный доступ на чтение и запись ко всем загруженным моделям.
AML.CS0028Подмена ИИ-модели через атаку на цепочку поставокЭто дало исследователям полный доступ к моделям. Были выявлены модели для разных сценариев применения, включая:
- распознавание удостоверений личности;
- распознавание лиц;
- распознавание объектов;
- различные задачи обработки естественного языка.
Эксфильтрация файлов моделей из APK дала исследователям полный доступ к ИИ-моделям Google Photos, включая модели для таких задач, как обнаружение лиц, обнаружение объектов, сегментация, оценка глубины, оценка качества изображений и обнаружение размытия.