Уклонение от защиты

Используя созданные образцы, мы выполнили онлайн-обход модели обнаружения шпионского ПО на основе машинного обучения. Созданные пакеты были классифицированы как безвредные с уверенностью > 80%. Эта оценка показывает, что злоумышленники способны обходить продвинутые техники обнаружения на основе машинного обучения, создавая образцы, которые ML-модель классифицирует неверно.

Доменные имена, сгенерированные DGA и измененные с помощью этой техники, успешно обходят целевую модель обнаружения DGA, позволяя злоумышленнику продолжать связь со своими серверами [командования и управления](https://attack.mitre.org/tactics/TA0011/).

Поскольку вторичная модель переопределяла основную, исследователи фактически смогли обойти ML-модель.

Исследователи показали, что для большинства состязательных файлов антивирусная модель была успешно обойдена. На практике злоумышленник мог бы развернуть специально подготовленное вредоносное ПО и заражать системы, избегая обнаружения.

Вредоносные инструкции были скрыты за счет нулевого размера шрифта, что затрудняло их обнаружение человеком.

Исследователи добавили инструкции для манипуляции ссылками на источники в ответе, злоупотребляя доверием пользователя к Copilot. Инструкции заставляли Copilot ссылаться только на один `EmailMessage` в формате `[^1^]` и игнорировать остальные файлы.

Чтобы получатель письма не заметил атаку, исследователи обфусцировали вредоносную часть письма.

Когда пользователь ищет банковские реквизиты и извлекается отравленная RAG-запись, маркер `Actual Snippet:` заставляет LLM воспринимать извлеченный текст как фрагмент реального документа.

Сотрудники целевой компании нашли поддельную организацию Hugging Face и вступили в нее. Поскольку имя учетной записи совпадало или выглядело похожим на название реальной организации, сотрудники приняли ее за официальную.

Исследователь назвал процесс Sliver `training.bin`, чтобы замаскировать его под легитимный процесс обучения модели. При этом модель продолжает работать как обычно, поэтому пользователь с меньшей вероятностью заметит проблему.

Злоумышленнику удалось избежать обнаружения [Picklescan](https://github.com/mmaitre314/picklescan), который Hugging Face использует для пометки вредоносных моделей. Это произошло потому, что модель невозможно было полностью десериализовать. В ходе анализа исследователи ReversingLabs установили, что вредоносная нагрузка при этом все равно выполнялась.

Злоумышленникам удалось обойти модель визуального сходства, использовавшуюся для обнаружения имитации бренда. Однако другие компоненты системы обнаружения фишинга успешно выявили эти фишинговые сайты.