Попытка обхода ML-системы обнаружения фишинговых веб-страниц

Оригинал: Attempted Evasion of ML Phishing Webpage Detection System

Злоумышленники создают фишинговые сайты, которые визуально похожи на легитимные. Эти сайты предназначены для того, чтобы обманом заставить пользователей ввести учетные данные, которые затем отправляются злоумышленнику. Для противодействия такому поведению компании в сфере безопасности используют подходы на основе ИИ/ML, чтобы обнаруживать фишинговые сайты и блокировать их в продуктах для защиты конечных устройств.

В этом инциденте состязательные примеры были выявлены в журналах коммерческой ML-системы обнаружения фишинговых сайтов. Система обнаружения автоматически принимает решение о блокировке или разрешении на основе «фишинговой оценки» ансамбля классификаторов изображений, каждый из которых отвечает за отдельные признаки фишинга: визуальное сходство, обнаружение форм ввода и т. д. Судя по всему, состязательные примеры использовали несколько простых, но эффективных стратегий ручного изменения логотипов брендов в попытке обойти модели классификации изображений. Фишинговые сайты, применявшие методы изменения логотипов, успешно обошли модель, отвечавшую за обнаружение имитации бренда по визуальному сходству. Однако другие компоненты системы успешно пометили эти фишинговые сайты.

Процедура

  1. AML.TA0001 Подготовка атаки на ИИ

    AML.T0043.003 Ручная модификация

    Наблюдалось несколько простых, но эффективных стратегий ручного изменения логотипов:

    Стратегия уклоненияКоличество
    Стиль названия компании25
    Размытый логотип23
    Обрезка20
    Без названия компании16
    Без визуального логотипа13
    Другой визуальный логотип12
    Растягивание логотипа11
    Несколько форм — изображения10
    Фоновые узоры8
    Обфускация страницы входа6
    Маскирование3
  2. AML.TA0007 Уклонение от защиты

    AML.T0015 Обход ИИ-модели

    Злоумышленникам удалось обойти модель визуального сходства, использовавшуюся для обнаружения имитации бренда. Однако другие компоненты системы обнаружения фишинга успешно выявили эти фишинговые сайты.
  3. AML.TA0004 Первичный доступ

    AML.T0052 Фишинг

    Если злоумышленнику удается успешно избежать обнаружения, он может продолжать эксплуатацию фишинговых сайтов и красть учетные данные жертвы.
  4. AML.TA0011 Воздействие

    AML.T0048.003 Ущерб пользователям

    Конечный пользователь может столкнуться с разными видами ущерба, включая финансовый ущерб и нарушение конфиденциальности, в зависимости от того, какие учетные данные украл злоумышленник.

Источники

  1. "Real Attackers Don't Compute Gradients": Bridging the Gap Between Adversarial ML Research and Practice
  2. Real Attackers Don't Compute Gradients Supplementary Resources