Подготовка атаки на ИИ

Мы обучили модель на наборе данных HTTP-трафика, чтобы использовать ее как прокси для целевой модели. Оценка показала среднюю долю истинно положительных срабатываний около 99% и среднюю долю ложноположительных срабатываний около 0,01%. При проверке модели заголовок HTTP-пакета из известных образцов C&C-трафика вредоносного ПО был классифицирован как вредоносный с высокой уверенностью (> 99%).

Мы отправляли в модель наши состязательные примеры и корректировали их, пока модель не удалось обойти.

Мы создали образцы для обхода, удалив из заголовка пакета поля, которые обычно не используются для C&C-коммуникации, например `cache-control`, `connection` и т. д.

Результаты эксперимента показали, что доля обнаружения всех 16 семейств ботнетных DGA падает ниже 25% после однократной вставки всего одной строки в доменные имена, сгенерированные DGA.

Исследователи использовали технику мутации для генерации доменных имен, обходящих обнаружение.

Злоумышленник использовал образец вредоносного ПО из распространенного семейства программ-вымогателей как исходную точку для создания мутированных вариантов.

Используя эти знания, исследователи объединили атрибуты заведомо легитимных файлов с вредоносным ПО, чтобы вручную создать состязательные образцы вредоносного ПО.

Используя эти переведенные пары предложений, исследователи обучили модель, реплицирующую поведение целевой модели.

Реплицированные модели использовались для генерации состязательных примеров, которые успешно срабатывали на сервисах машинного перевода с закрытой внутренней логикой.

Исследователи изменили функцию потерь Grover так, чтобы она соответствовала функции потерь GPT-2, а затем обучили модель на подготовленном ими наборе данных, используя исходные гиперпараметры Grover. Полученная модель воспроизводила поведение GPT-2 и показывала сопоставимое качество на большинстве наборов данных. Злоумышленник, повторивший действия исследователей, мог бы затем использовать такую копию GPT-2 во вредоносных целях.

Исследователи использовали письма и собранные оценки как набор данных, на котором обучили рабочую копию модели ProofPoint. С помощью простой корреляции они определили, какая переменная оценки в целом отражает безопасность письма. В этом случае была выбрана переменная "mlxlogscore", поскольку она была связана со spam, phish и core mlx, и ее использовали как метку. Каждое значение "mlxlogscore" обычно находилось в диапазоне от 1 до 999: чем выше оценка, тем безопаснее образец. Обучение выполнялось с использованием искусственной нейронной сети (ANN) и токенизации Bag of Words.

Затем исследователи ML алгоритмически нашли в этой "офлайн" прокси-модели образцы, которые помогли получить нужное представление о ее поведении и влиятельных переменных. Примеры образцов с хорошими оценками: "calculation", "asset" и "tyson". Примеры образцов с плохими оценками: "software", "99" и "unsub".