Обход ИИ-модели

Используя созданные образцы, мы выполнили онлайн-обход модели обнаружения шпионского ПО на основе машинного обучения. Созданные пакеты были классифицированы как безвредные с уверенностью > 80%. Эта оценка показывает, что злоумышленники способны обходить продвинутые техники обнаружения на основе машинного обучения, создавая образцы, которые ML-модель классифицирует неверно.

Доменные имена, сгенерированные DGA и измененные с помощью этой техники, успешно обходят целевую модель обнаружения DGA, позволяя злоумышленнику продолжать связь со своими серверами [командования и управления](https://attack.mitre.org/tactics/TA0011/).

Поскольку вторичная модель переопределяла основную, исследователи фактически смогли обойти ML-модель.

Злоумышленники успешно обошли систему распознавания лиц. Это позволило им выдать себя за жертву и подтвердить ее личность в налоговой системе.

Состязательные примеры использовались для обхода сервисов машинного перевода разными способами. Среди них были целевые подмены слов, нецензурный вывод и пропуски предложений.

В итоге сведения, полученные с помощью "офлайн" прокси-модели, позволили исследователям создавать вредоносные письма, которые получали благоприятные оценки от реальной системы защиты электронной почты ProofPoint и тем самым обходили ее.

Команда провела онлайн-атаку обхода, повторно отправив состязательные примеры, и достигла своих целей.

Красная команда подала на вход модели это незаметно измененное изображение и смогла обойти ML-модель, добившись ошибочной классификации.

Команда успешно обошла модель с помощью физической наклейки, вызвав целевые ошибочные классификации.

Предъявление визуального триггера приводит к обходу модели жертвы. Исследователи показали, что это можно использовать для обхода ML-моделей в нескольких критически важных для безопасности приложениях из Google Play.

Исследователи показали, что для большинства состязательных файлов антивирусная модель была успешно обойдена. На практике злоумышленник мог бы развернуть специально подготовленное вредоносное ПО и заражать системы, избегая обнаружения.

Мужчина собрал украденные персональные данные, включая имена, даты рождения и номера Social Security, и использовал их вместе со своими фотографиями в париках для получения поддельных водительских удостоверений. Он загружал поддельные документы вместе с селфи. Система проверки документов ID.me сопоставляла селфи с фотографией в документе, что позволяло части мошеннических заявок продвигаться дальше по процессу обработки.

После развертывания контейнерного образа злоумышленника модель может ошибочно классифицировать входные данные из-за внесенных им изменений.

Злоумышленникам удалось обойти модель визуального сходства, использовавшуюся для обнаружения имитации бренда. Однако другие компоненты системы обнаружения фишинга успешно выявили эти фишинговые сайты.

Исследователи транслируют дипфейк-видеопоток через OBS и используют приложение Virtual Camera, чтобы заменить стандартную камеру этим потоком. Это позволяет успешно обойти систему распознавания лица и пройти аутентификацию под личностью жертвы.

Злоумышленник использовал ProKYC, чтобы заменить видеопоток с камеры дипфейк-видео с селфи. Это позволило успешно обойти KYC-проверку и пройти аутентификацию под поддельной личностью.

LLM-инструмент обнаружения или анализа вредоносного ПО мог быть сманипулирован так, чтобы не классифицировать бинарный файл Skynet как вредоносный. Примечание: промпт-инъекция не сработала против LLM, которые тестировали Check Point Research.

Состязательные данные могли использоваться для обхода или иного ухудшения работы моделей Google Photos, включая обнаружение лиц и объектов.