Ручная модификация

Оригинал: Manual Modification

Злоумышленники могут вручную изменять входные данные, чтобы создавать состязательные данные. Они могут использовать свои знания о целевой модели и изменять те части данных, которые, по их предположению, помогают модели выполнять её задачу. Злоумышленник может действовать методом проб и ошибок, пока не сможет подтвердить, что получил работоспособный состязательный вход.

Тактики

AML.TA0001Подготовка атаки на ИИ

Родительская техника

AML.T0043Создание состязательных данных

Другие подтехники родителя

AML.T0043.000Оптимизация в режиме белого ящикаПодтехника AML.T0043.001Оптимизация в режиме чёрного ящикаПодтехника AML.T0043.002Перенос на модель чёрного ящикаПодтехника AML.T0043.004Добавление бэкдор-триггераПодтехника

Меры защиты

AML.M0003Усиление устойчивости модели

Усиленные модели более устойчивы к состязательным входным данным.

AML.M0004Ограничение количества запросов к ИИ-модели

Ограничение количества запросов к модели может снизить способность злоумышленника уточнять вручную созданные состязательные входные данные.

AML.M0006Использование ансамблевых методов

Использование ансамбля моделей усложняет создание эффективных состязательных данных и повышает общую устойчивость.

AML.M0010Восстановление входных данных

Восстановление входных данных может помогать исправлять состязательные входные данные.

AML.M0015Обнаружение состязательных входных данных

Встраивайте обнаружение состязательных входных данных, чтобы блокировать вредоносные входные данные во время инференса.

Примеры процедур из кейсов

AML.CS0000Обход детектора C&C-трафика вредоносного ПО на основе глубокого обученияАктор: Palo Alto Networks AI Research Team / Тактика: AML.TA0001 Подготовка атаки на ИИ

Мы создали образцы для обхода, удалив из заголовка пакета поля, которые обычно не используются для C&C-коммуникации, например `cache-control`, `connection` и т. д.

AML.CS0003Обход ИИ-детектора вредоносного ПО CylanceАктор: Skylight Cyber / Тактика: AML.TA0001 Подготовка атаки на ИИ

Используя эти знания, исследователи объединили атрибуты заведомо легитимных файлов с вредоносным ПО, чтобы вручную создать состязательные образцы вредоносного ПО.

AML.CS0032Попытка обхода ML-системы обнаружения фишинговых веб-страницАктор: Unknown / Тактика: AML.TA0001 Подготовка атаки на ИИ

Наблюдалось несколько простых, но эффективных стратегий ручного изменения логотипов: Стиль названия компании - 25; Размытый логотип - 23; Обрезка - 20; Без названия компании - 16; Без визуального логотипа - 13; Другой визуальный логотип - 12; Растягивание логотипа - 11; Несколько форм — изображения - 10; Фоновые узоры - 8; Обфускация страницы входа - 6; Маскирование - 3