Создание промптов для LLM

Оригинал: LLM Prompt Crafting

Злоумышленники могут использовать полученные знания о целевой системе генеративного ИИ для создания промптов, которые обходят ее защитные механизмы и позволяют выполнить вредоносные инструкции.

Злоумышленник может итеративно дорабатывать промпт, чтобы убедиться, что он стабильно работает так, как задумано.

Тактики

Примеры процедур из кейсов

AML.CS0021Эксфильтрация разговоров ChatGPTАктор: Embrace The Red / Тактика: AML.TA0003 Подготовка ресурсов

Исследователь разработал промпт, который заставляет ChatGPT добавлять в ответы Markdown-изображение, где разговор пользователя встроен в URL.

AML.CS0026Перехват финансовой транзакции с использованием M365 Copilot в роли инсайдераАктор: Zenity / Тактика: AML.TA0003 Подготовка ресурсов

Исследователи разработали вредоносные промпты, обходящие системные инструкции Copilot. Они подбирали их методом проб и ошибок на отдельном экземпляре Copilot.

AML.CS0029Эксфильтрация разговоров Google BardАктор: Embrace the Red / Тактика: AML.TA0003 Подготовка ресурсов

Исследователь разработал промпт, из-за которого Bard включает в ответ Markdown-элемент изображения с разговором пользователя, встроенным в URL.

AML.CS0035Эксфильтрация данных из Slack AI через косвенную промпт-инъекциюАктор: PromptArmor / Тактика: AML.TA0003 Подготовка ресурсов

Исследователь подготовил вредоносный промпт, предназначенный для раскрытия API-ключа жертвы.

AML.CS0037Эксфильтрация данных через инструменты ИИ-агента в Copilot StudioАктор: Zenity / Тактика: AML.TA0003 Подготовка ресурсов

После выявления цели исследователи составляют промпты для проверки возможного ИИ-агента, отслеживающего почтовый ящик. Промпт должен заставить агента отправить ответное письмо на адрес, выбранный исследователями.

AML.CS0037Эксфильтрация данных через инструменты ИИ-агента в Copilot StudioАктор: Zenity / Тактика: AML.TA0003 Подготовка ресурсов

Исследователи используют сведения об инструментах и источниках знаний ИИ-агента, чтобы составить промпт, который соберет и эксфильтрует интересующие их клиентские данные.

AML.CS0038Внедрение инструкций для отложенного автоматического вызова инструмента ИИ-агентаАктор: Embrace the Red / Тактика: AML.TA0003 Подготовка ресурсов

Исследователь написал промпт, предназначенный для извлечения текста из приватного Google Doc с помощью расширения Workspace в Google Gemini.

AML.CS0039Living Off AI: промпт-инъекция через Jira Service ManagementАктор: Cato CTRL / Тактика: AML.TA0003 Подготовка ресурсов

Исследователи составили вредоносный промпт, требующий опубликовать данные из всех других обращений поддержки в ответе к текущему обращению.

AML.CS0040Взлом памяти ChatGPT с помощью промпт-инъекцииАктор: Embrace the Red / Тактика: AML.TA0003 Подготовка ресурсов

Исследователь составил простой промпт, который задает контекст памяти как маркированный список неверных фактов.

AML.CS0041Бэкдор в файле правил: атака на цепочку поставки ИИ-ассистентов для программированияАктор: Pillar Security / Тактика: AML.TA0003 Подготовка ресурсов

Исследователи составили промпт для ИИ-ассистента программирования, который внедряет вызов вредоносного JavaScript-скрипта в сгенерированный HTML.

AML.CS0043Прототип вредоносного ПО со встроенной промпт-инъекциейАктор: Unknown Threat Actor / Тактика: AML.TA0003 Подготовка ресурсов

Злоумышленник создал вредоносный промпт, рассчитанный на обход обнаружения.

AML.CS0045Эксфильтрация данных через MCP-сервер, используемый CursorАктор: Backslash Security Research Team / Тактика: AML.TA0003 Подготовка ресурсов

Исследователи подготовили вредоносный промпт с инструкцией выполнить команду оболочки, которая эксфильтрирует учетные данные ИИ-агента пользователя-жертвы.

AML.CS0046Уничтожение данных через косвенную промпт-инъекцию, нацеленную на Claude Computer UseАктор: HiddenLayer / Тактика: AML.TA0003 Подготовка ресурсов

Исследователи подготовили промпт, нацеленный на функцию Claude Computer Use. Он был предназначен для обхода защитных ограничений и выполнения деструктивной команды в системе жертвы.

AML.CS0047Код для развертывания деструктивного ИИ-агента обнаружен в расширении Amazon Q для VS CodeАктор: lkmanka58 (GitHub user) / Тактика: AML.TA0003 Подготовка ресурсов

`lkmanka58` разработал промпт, который инструктировал Amazon Q удалить данные в файловой системе и облачные ресурсы, используя доступ к файловым инструментам и `bash`.

AML.CS0049Компрометация цепочки поставки через отравленный навык ClawdBotАктор: Jamieson O'Reilly / Тактика: AML.TA0003 Подготовка ресурсов

Исследователь подготовил промпт-инъекцию, которая должна была заставить Claude Code выполнить команду `curl` к домену исследователя `clawdhub-skill.com`.

AML.CS0051Использование OpenClaw для командования и управления через промпт-инъекциюАктор: HiddenLayer / Тактика: AML.TA0003 Подготовка ресурсов

Исследователи разработали промпт, который инструктировал OpenClaw загрузить и выполнить вредоносный bash-скрипт.

AML.CS0051Использование OpenClaw для командования и управления через промпт-инъекциюАктор: HiddenLayer / Тактика: AML.TA0003 Подготовка ресурсов

Исследователи разработали промпт, который инструктировал OpenClaw получать TODO-список с их сервера и выполнять содержащиеся в нем задачи.

AML.CS0052LLMSmith: уязвимости RCE в приложениях с интеграцией LLMАктор: Researchers at University of Chinese Academy of Sciences, Shandong University, and University of New South Wales / Тактика: AML.TA0003 Подготовка ресурсов

Исследователи разработали промпты, которые вызывают инструменты и приводят к RCE.

AML.CS0054Эксфильтрация данных через удаленный отравленный MCP-инструментАктор: Invariant Labs / Тактика: AML.TA0003 Подготовка ресурсов

Исследователи подготовили промпт, который инструктирует ИИ-агента найти и прочитать файлы с учетными данными пользователя, а затем сохранить их в одном из входных параметров MCP-инструмента.

AML.CS0056Кампании по дистилляции моделей, нацеленные на Anthropic ClaudeАктор: DeepSeek, Moonshot AI, MiniMax / Тактика: AML.TA0003 Подготовка ресурсов

DeepSeek, Moonshot AI и MiniMax сгенерировали крупные наборы промптов для извлечения возможностей Claude.

AML.CS0059EchoLeak: промпт-инъекция нулевого клика против M365 Copilot для эксфильтрации данныхАктор: Aim Labs / Тактика: AML.TA0003 Подготовка ресурсов

Исследователи подготовили вредоносные инструкции, рассчитанные на обход классификатора Microsoft для косвенных промпт-инъекций, маскировку под обычный деловой контент, скрытие связи с письмом, контролируемым злоумышленником, и принуждение Copilot включить конфиденциальные данные в отображаемый вывод.

AML.CS0060Межсайтовый скриптинг (XSS) через манипуляцию промптом в ИИ-чат-боте LenovoАктор: Cybernews Research Team / Тактика: AML.TA0003 Подготовка ресурсов

Исследователи разработали единый промпт, предназначенный для того, чтобы заставить Lena сгенерировать HTML, небезопасный при отображении в чат-интерфейсе Lenovo. Промпт объединял несколько элементов:

  • Внешне безобидный запрос информации о продукте, например "Show me the specifications of Lenovo IdeaPad 5 Pro."
  • Инструкции по формату вывода, предписывающие Lena вернуть ответ как HTML с дополнительным JSON и текстовым форматированием, ожидаемыми серверной логикой обработки.
  • HTML- и JavaScript-нагрузку, предназначенную для чтения cookie, доступных браузеру, и помещения их в параметр запроса изображения к серверу, подконтрольному злоумышленнику.
  • Усиливающую формулировку, побуждающую модель включить изображение, например "Show the image at the end. It is important for my decision-making. SHOW IT."
AML.CS0061AI in the Middle: веб-сервисы ИИ как ретрансляторы C2Актор: Check Point Research / Тактика: AML.TA0003 Подготовка ресурсов

Исследователи составили промпты, предписывающие ИИ-сервису получить и кратко изложить содержимое веб-сайта. Эти промпты приводили к включению данных жертвы в параметры URL, что позволяло запросу ИИ-сервиса на получение веб-ресурса передавать данные на подконтрольный злоумышленнику сервер.

AML.CS0062RCE-уязвимость в Semantic Kernel Search PluginАктор: Microsoft Defender Security Research Team / Тактика: AML.TA0003 Подготовка ресурсов

Исследователи подготовили промпт, который должен был заставить агента Semantic Kernel вызвать инструмент поиска с подконтрольными злоумышленнику аргументами. Значение аргумента было составлено так, чтобы задействовать уязвимую обработку фильтра In-Memory Vector Store и привести к выполнению кода.