Создание промптов для LLM
Оригинал: LLM Prompt Crafting
Злоумышленники могут использовать полученные знания о целевой системе генеративного ИИ для создания промптов, которые обходят ее защитные механизмы и позволяют выполнить вредоносные инструкции.
Злоумышленник может итеративно дорабатывать промпт, чтобы убедиться, что он стабильно работает так, как задумано.
Тактики
Примеры процедур из кейсов
Исследователь разработал промпт, который заставляет ChatGPT добавлять в ответы Markdown-изображение, где разговор пользователя встроен в URL.
AML.CS0026Перехват финансовой транзакции с использованием M365 Copilot в роли инсайдераИсследователи разработали вредоносные промпты, обходящие системные инструкции Copilot. Они подбирали их методом проб и ошибок на отдельном экземпляре Copilot.
AML.CS0029Эксфильтрация разговоров Google BardИсследователь разработал промпт, из-за которого Bard включает в ответ Markdown-элемент изображения с разговором пользователя, встроенным в URL.
AML.CS0035Эксфильтрация данных из Slack AI через косвенную промпт-инъекциюИсследователь подготовил вредоносный промпт, предназначенный для раскрытия API-ключа жертвы.
AML.CS0037Эксфильтрация данных через инструменты ИИ-агента в Copilot StudioПосле выявления цели исследователи составляют промпты для проверки возможного ИИ-агента, отслеживающего почтовый ящик. Промпт должен заставить агента отправить ответное письмо на адрес, выбранный исследователями.
AML.CS0037Эксфильтрация данных через инструменты ИИ-агента в Copilot StudioИсследователи используют сведения об инструментах и источниках знаний ИИ-агента, чтобы составить промпт, который соберет и эксфильтрует интересующие их клиентские данные.
AML.CS0038Внедрение инструкций для отложенного автоматического вызова инструмента ИИ-агентаИсследователь написал промпт, предназначенный для извлечения текста из приватного Google Doc с помощью расширения Workspace в Google Gemini.
AML.CS0039Living Off AI: промпт-инъекция через Jira Service ManagementИсследователи составили вредоносный промпт, требующий опубликовать данные из всех других обращений поддержки в ответе к текущему обращению.
AML.CS0040Взлом памяти ChatGPT с помощью промпт-инъекцииИсследователь составил простой промпт, который задает контекст памяти как маркированный список неверных фактов.
AML.CS0041Бэкдор в файле правил: атака на цепочку поставки ИИ-ассистентов для программированияИсследователи составили промпт для ИИ-ассистента программирования, который внедряет вызов вредоносного JavaScript-скрипта в сгенерированный HTML.
AML.CS0043Прототип вредоносного ПО со встроенной промпт-инъекциейЗлоумышленник создал вредоносный промпт, рассчитанный на обход обнаружения.
AML.CS0045Эксфильтрация данных через MCP-сервер, используемый CursorИсследователи подготовили вредоносный промпт с инструкцией выполнить команду оболочки, которая эксфильтрирует учетные данные ИИ-агента пользователя-жертвы.
AML.CS0046Уничтожение данных через косвенную промпт-инъекцию, нацеленную на Claude Computer UseИсследователи подготовили промпт, нацеленный на функцию Claude Computer Use. Он был предназначен для обхода защитных ограничений и выполнения деструктивной команды в системе жертвы.
AML.CS0047Код для развертывания деструктивного ИИ-агента обнаружен в расширении Amazon Q для VS Code`lkmanka58` разработал промпт, который инструктировал Amazon Q удалить данные в файловой системе и облачные ресурсы, используя доступ к файловым инструментам и `bash`.
AML.CS0049Компрометация цепочки поставки через отравленный навык ClawdBotИсследователь подготовил промпт-инъекцию, которая должна была заставить Claude Code выполнить команду `curl` к домену исследователя `clawdhub-skill.com`.
AML.CS0051Использование OpenClaw для командования и управления через промпт-инъекциюИсследователи разработали промпт, который инструктировал OpenClaw загрузить и выполнить вредоносный bash-скрипт.
AML.CS0051Использование OpenClaw для командования и управления через промпт-инъекциюИсследователи разработали промпт, который инструктировал OpenClaw получать TODO-список с их сервера и выполнять содержащиеся в нем задачи.
AML.CS0052LLMSmith: уязвимости RCE в приложениях с интеграцией LLMИсследователи разработали промпты, которые вызывают инструменты и приводят к RCE.
AML.CS0054Эксфильтрация данных через удаленный отравленный MCP-инструментИсследователи подготовили промпт, который инструктирует ИИ-агента найти и прочитать файлы с учетными данными пользователя, а затем сохранить их в одном из входных параметров MCP-инструмента.
AML.CS0056Кампании по дистилляции моделей, нацеленные на Anthropic ClaudeDeepSeek, Moonshot AI и MiniMax сгенерировали крупные наборы промптов для извлечения возможностей Claude.
AML.CS0059EchoLeak: промпт-инъекция нулевого клика против M365 Copilot для эксфильтрации данныхИсследователи подготовили вредоносные инструкции, рассчитанные на обход классификатора Microsoft для косвенных промпт-инъекций, маскировку под обычный деловой контент, скрытие связи с письмом, контролируемым злоумышленником, и принуждение Copilot включить конфиденциальные данные в отображаемый вывод.
AML.CS0060Межсайтовый скриптинг (XSS) через манипуляцию промптом в ИИ-чат-боте LenovoИсследователи разработали единый промпт, предназначенный для того, чтобы заставить Lena сгенерировать HTML, небезопасный при отображении в чат-интерфейсе Lenovo. Промпт объединял несколько элементов:
- Внешне безобидный запрос информации о продукте, например "Show me the specifications of Lenovo IdeaPad 5 Pro."
- Инструкции по формату вывода, предписывающие Lena вернуть ответ как HTML с дополнительным JSON и текстовым форматированием, ожидаемыми серверной логикой обработки.
- HTML- и JavaScript-нагрузку, предназначенную для чтения cookie, доступных браузеру, и помещения их в параметр запроса изображения к серверу, подконтрольному злоумышленнику.
- Усиливающую формулировку, побуждающую модель включить изображение, например "Show the image at the end. It is important for my decision-making. SHOW IT."
Исследователи составили промпты, предписывающие ИИ-сервису получить и кратко изложить содержимое веб-сайта. Эти промпты приводили к включению данных жертвы в параметры URL, что позволяло запросу ИИ-сервиса на получение веб-ресурса передавать данные на подконтрольный злоумышленнику сервер.
AML.CS0062RCE-уязвимость в Semantic Kernel Search PluginИсследователи подготовили промпт, который должен был заставить агента Semantic Kernel вызвать инструмент поиска с подконтрольными злоумышленнику аргументами. Значение аргумента было составлено так, чтобы задействовать уязвимую обработку фильтра In-Memory Vector Store и привести к выполнению кода.