Выявление онтологии ИИ-модели
Оригинал: Discover AI Model Ontology
Злоумышленники могут выявлять онтологию выходного пространства ИИ-модели, например типы объектов, которые модель способна обнаруживать.
Злоумышленник может выявить онтологию с помощью повторяющихся запросов к модели, вынуждая ее перечислять свое выходное пространство.
Также онтология может быть раскрыта в конфигурационном файле или документации к модели.
Онтология модели помогает злоумышленнику понять, как организация-жертва использует модель.
Эта информация полезна злоумышленнику при создании целевых атак.
Тактики
Меры защиты
AML.M0002Пассивная обфускация выходных данных ИИ
Рекомендуемые подходы:
- ограничить количество показываемых результатов
- ограничить детализацию онтологии выходных классов
- использовать методы рандомизированного сглаживания
- снизить точность числовых выходных данных
Ограничьте объем информации об онтологии модели, которую злоумышленник может получить через запросы к API.