Оптимизация в режиме чёрного ящика
Оригинал: Black-Box Optimization
При атаках в режиме чёрного ящика злоумышленник имеет доступ к целевой модели в режиме чёрного ящика, то есть через доступ к API инференса ИИ-модели. При таких атаках злоумышленник может использовать API, который находится под мониторингом организации-жертвы. Эти атаки обычно менее эффективны и требуют большего числа инференсов, чем атаки с оптимизацией в режиме белого ящика, но требуют значительно меньшего уровня доступа.
Тактики
Родительская техника
Другие подтехники родителя
Меры защиты
Обфускация выходных данных модели снижает способность злоумышленника создавать эффективные состязательные входные данные.
AML.M0003Усиление устойчивости моделиУсиленные модели более устойчивы к состязательным входным данным.
AML.M0004Ограничение количества запросов к ИИ-моделиОграничение количества запросов к модели ограничивает или замедляет способность злоумышленника проводить атаки с оптимизацией в режиме чёрного ящика.
AML.M0006Использование ансамблевых методовИспользование ансамбля моделей усложняет создание эффективных состязательных данных и повышает общую устойчивость.
AML.M0010Восстановление входных данныхВосстановление входных данных добавляет дополнительный слой неопределенности и случайности, когда злоумышленник оценивает связь между входом и выходом.
AML.M0015Обнаружение состязательных входных данныхОтслеживайте запросы и паттерны запросов к целевой модели и блокируйте доступ при обнаружении подозрительных запросов.
AML.M0019Контроль доступа к ИИ-моделям и данным в продакшенеКонтроль доступа к API модели может лишить злоумышленников доступа, необходимого для методов оптимизации в режиме чёрного ящика.
Примеры процедур из кейсов
Исследователи использовали технику мутации для генерации доменных имен, обходящих обнаружение.
AML.CS0011Обход ИИ на периферии MicrosoftКрасная команда создала автоматизированную систему, которая непрерывно изменяла исходное целевое изображение так, чтобы обмануть ML-модель и заставить ее выдавать неверные результаты инференса, при этом возмущения на изображении оставались незаметными для человеческого глаза.