Определение принадлежности к обучающей выборке
Оригинал: Infer Training Data Membership
Злоумышленники могут определить, входил ли конкретный образец данных в обучающую выборку модели, или выявить общие характеристики данных в этой выборке. Это создает риски для конфиденциальности.
Некоторые подходы используют теневую модель, которую можно получить через обучение прокси-модели через репликацию; другие опираются на статистику оценок предсказаний модели.
В результате модель организации-жертвы может раскрыть приватную информацию, например персональные данные людей из обучающей выборки или другие виды защищенной интеллектуальной собственности.
Тактики
Родительская техника
Другие подтехники родителя
Меры защиты
Рекомендуемые подходы:
- ограничить количество показываемых результатов
- ограничить детализацию онтологии выходных классов
- использовать методы рандомизированного сглаживания
- снизить точность числовых выходных данных
Ограничьте объем API-запросов за заданный период, чтобы регулировать объем и детализацию потенциально чувствительной информации, которую может получить злоумышленник.
AML.M0024Логирование телеметрии ИИЛогирование телеметрии может помочь выявить эксфильтрацию чувствительных данных.