Выявление выходных данных ИИ-модели
Оригинал: Discover AI Model Outputs
Злоумышленники могут выявлять выходные данные модели, например оценки классов, наличие которых не требуется для работы системы и которые не предназначены для использования конечным пользователем. Выходные данные модели могут находиться в журналах или включаться в ответы API.
Выходные данные модели могут позволить злоумышленнику выявить слабые места модели и разработать атаки.
Тактики
Меры защиты
Обфускация выходных данных модели может помешать злоумышленникам собирать чувствительную информацию о выходных данных модели.
AML.M0012Шифрование чувствительной информацииШифрование выходных данных модели может помешать злоумышленникам выявлять чувствительную информацию об ИИ-системе или ее операциях.
AML.M0017Методы распространения ИИ-моделейОтказ от развертывания моделей на периферийных устройствах снижает способность злоумышленника собирать чувствительную информацию о выходных данных модели.
AML.M0019Контроль доступа к ИИ-моделям и данным в продакшенеКонтроль доступа к модели в продакшене может помочь помешать злоумышленникам извлекать информацию из выходных данных модели.
Примеры процедур из кейсов
Исследователи включили подробное логирование, раскрывающее внутреннюю логику работы ML-модели, особенно в части репутационного скоринга и ансамблирования моделей.
AML.CS0008Обход ProofPointИсследователи обнаружили, что ProofPoint Email Protection оставляла выходные оценки модели в заголовках писем.