Инверсия ИИ-модели

Оригинал: Invert AI Model

Обучающие данные ИИ-модели могут быть реконструированы за счет использования оценок уверенности модели, доступных через API инференса.

Стратегически отправляя запросы к API инференса, злоумышленники могут восстановить потенциально приватную информацию, встроенную в обучающие данные.

Это может привести к нарушению конфиденциальности, если злоумышленник сможет реконструировать данные чувствительных признаков, используемых в алгоритме.

Тактики

AML.TA0010Эксфильтрация

Родительская техника

AML.T0024Эксфильтрация через API инференса ИИ

Другие подтехники родителя

AML.T0024.000Определение принадлежности к обучающей выборкеПодтехника AML.T0024.002Извлечение ИИ-моделиПодтехника

Меры защиты

AML.M0002Пассивная обфускация выходных данных ИИ

Рекомендуемые подходы:

ограничить количество показываемых результатов
ограничить детализацию онтологии выходных классов
использовать методы рандомизированного сглаживания
снизить точность числовых выходных данных

AML.M0004Ограничение количества запросов к ИИ-модели

Ограничьте объем API-запросов за заданный период, чтобы регулировать объем и детализацию потенциально чувствительной информации, которую может получить злоумышленник.

AML.M0024Логирование телеметрии ИИ

Логирование телеметрии может помочь выявить эксфильтрацию чувствительных данных.