Оптимизация в режиме чёрного ящика

Оригинал: Black-Box Optimization

При атаках в режиме чёрного ящика злоумышленник имеет доступ к целевой модели в режиме чёрного ящика, то есть через доступ к API инференса ИИ-модели. При таких атаках злоумышленник может использовать API, который находится под мониторингом организации-жертвы. Эти атаки обычно менее эффективны и требуют большего числа инференсов, чем атаки с оптимизацией в режиме белого ящика, но требуют значительно меньшего уровня доступа.

Тактики

Родительская техника

Другие подтехники родителя

Меры защиты

AML.M0002Пассивная обфускация выходных данных ИИ

Обфускация выходных данных модели снижает способность злоумышленника создавать эффективные состязательные входные данные.

AML.M0003Усиление устойчивости модели

Усиленные модели более устойчивы к состязательным входным данным.

AML.M0004Ограничение количества запросов к ИИ-модели

Ограничение количества запросов к модели ограничивает или замедляет способность злоумышленника проводить атаки с оптимизацией в режиме чёрного ящика.

AML.M0006Использование ансамблевых методов

Использование ансамбля моделей усложняет создание эффективных состязательных данных и повышает общую устойчивость.

AML.M0010Восстановление входных данных

Восстановление входных данных добавляет дополнительный слой неопределенности и случайности, когда злоумышленник оценивает связь между входом и выходом.

AML.M0015Обнаружение состязательных входных данных

Отслеживайте запросы и паттерны запросов к целевой модели и блокируйте доступ при обнаружении подозрительных запросов.

AML.M0019Контроль доступа к ИИ-моделям и данным в продакшене

Контроль доступа к API модели может лишить злоумышленников доступа, необходимого для методов оптимизации в режиме чёрного ящика.

Примеры процедур из кейсов