Разработка средств для атаки

Оригинал: Develop Capabilities

Злоумышленники могут разрабатывать собственные средства для поддержки своих операций. Этот процесс включает определение требований, создание решений и развертывание средств. Средства, используемые для поддержки атак на системы с поддержкой ИИ, не обязательно сами основаны на ИИ. Примеры включают создание сайтов с материалами для проведения атак или Jupyter Notebook с обфусцированным кодом для эксфильтрации.

Тактики

AML.TA0003Подготовка ресурсов

Подтехники

AML.T0017.000Состязательные атаки на ИИПодтехника

Примеры процедур из кейсов

AML.CS0018Выполнение произвольного кода через Google ColabАктор: Tony Piazza / Тактика: AML.TA0003 Подготовка ресурсов

Злоумышленник создает Jupyter Notebook, содержащий обфусцированный вредоносный код.

AML.CS0020Угрозы косвенной промпт-инъекции: Bing Chat как похититель данныхАктор: Kai Greshake, Saarland University / Тактика: AML.TA0003 Подготовка ресурсов

Злоумышленник создал сайт с вредоносными системными инструкциями для LLM, чтобы повлиять на поведение модели. Эти инструкции считываются моделью, когда пользователь предоставляет Bing Chat доступ к открытой странице.

AML.CS0029Эксфильтрация разговоров Google BardАктор: Embrace the Red / Тактика: AML.TA0003 Подготовка ресурсов

Исследователь написал Google Apps Script, который записывает все параметры запроса в Google Doc.

AML.CS0043Прототип вредоносного ПО со встроенной промпт-инъекциейАктор: Unknown Threat Actor / Тактика: AML.TA0003 Подготовка ресурсов

Злоумышленник встроил промпт-инъекцию в образец вредоносного ПО, названный Skynet.

AML.CS0049Компрометация цепочки поставки через отравленный навык ClawdBotАктор: Jamieson O'Reilly / Тактика: AML.TA0003 Подготовка ресурсов

Исследователь создал простой веб-сервер для записи запросов.

AML.CS0050Удаленное выполнение кода (RCE) в OpenClaw в один кликАктор: DepthFirst / Тактика: AML.TA0003 Подготовка ресурсов

Исследователь разработал JavaScript-скрипт для RCE в один клик.

AML.CS0052LLMSmith: уязвимости RCE в приложениях с интеграцией LLMАктор: Researchers at University of Chinese Academy of Sciences, Shandong University, and University of New South Wales / Тактика: AML.TA0003 Подготовка ресурсов

Исследователи провели статический анализ API целевых LLM-фреймворков, чтобы выявить функции, которые выполняют код из пользовательского ввода или ответа LLM и поэтому уязвимы к RCE.

AML.CS0053Эксфильтрация писем через отравленный MCP-сервер PostmarkАктор: Unknown Bad Actor / Тактика: AML.TA0003 Подготовка ресурсов

Злоумышленник изменил легитимный MCP-сервер Postmark так, чтобы его адрес электронной почты добавлялся в поле скрытой копии (BCC) всех писем, отправляемых инструментом.

AML.CS0055AI ClickFix: захват управления computer-use-агентами с помощью ClickFixАктор: Embrace the Red / Тактика: AML.TA0003 Подготовка ресурсов

Исследователь использовал ChatGPT, чтобы с небольшими ручными правками сгенерировать вредоносный сайт. Сайт был рассчитан на то, чтобы побудить computer-use-агентов взаимодействовать с определенными элементами и в итоге выполнить код исследователя на машине жертвы. Исследователь также написал скрипт, способный запускать приложение на машине жертвы.

AML.CS0057Storm-2139: обход защитных ограничений Azure OpenAIАктор: Storm-2139 / Тактика: AML.TA0003 Подготовка ресурсов

Создатели Storm-2139 разработали инструмент под названием de3u, чтобы упростить несанкционированное использование сервисов генеративного ИИ и обход защитных механизмов.