Эксфильтрация через API инференса ИИ

Оригинал: Exfiltration via AI Inference API

Злоумышленники могут эксфильтровать приватную информацию через доступ к API инференса ИИ-модели.

Известно, что ИИ-модели могут раскрывать приватную информацию о своих обучающих данных, например при выводе принадлежности к обучающим данным или инверсии ИИ-модели.

Сама модель также может быть извлечена (извлечение ИИ-модели) с целью кражи интеллектуальной собственности ИИ.

Эксфильтрация информации, связанной с приватными обучающими данными, создает риски для конфиденциальности.

Приватные обучающие данные могут включать персональные данные или другие защищенные данные.

Тактики

AML.TA0010Эксфильтрация

Подтехники

AML.T0024.000Определение принадлежности к обучающей выборкеПодтехника AML.T0024.001Инверсия ИИ-моделиПодтехника AML.T0024.002Извлечение ИИ-моделиПодтехника

Меры защиты

AML.M0004Ограничение количества запросов к ИИ-модели

Ограничьте объем API-запросов за заданный период, чтобы регулировать объем и детализацию потенциально чувствительной информации, которую может получить злоумышленник.

AML.M0019Контроль доступа к ИИ-моделям и данным в продакшене

Злоумышленники могут использовать неограниченный доступ к API, чтобы собрать обучающий набор данных для прокси-модели и раскрыть приватную информацию.

AML.M0024Логирование телеметрии ИИ

Логирование телеметрии может помочь выявить эксфильтрацию чувствительных данных.