Ключевые слова системных инструкций

Оригинал: System Instruction Keywords

Злоумышленники могут выявлять ключевые слова, имеющие особое значение для большой языковой модели (LLM), например имена функций или объектов. Позднее они могут использоваться, чтобы запутать LLM или манипулировать ею, вызывая некорректное поведение и обращения к плагинам, к которым у LLM есть доступ.

Тактики

AML.TA0008Выявление

Родительская техника

AML.T0069Выявление системной информации LLM

Другие подтехники родителя

AML.T0069.000Наборы специальных символовПодтехника AML.T0069.002Системный промптПодтехника

Примеры процедур из кейсов

AML.CS0026Перехват финансовой транзакции с использованием M365 Copilot в роли инсайдераАктор: Zenity / Тактика: AML.TA0008 Выявление

Исследуя ответы Copilot, исследователи выявили плагины и конкретные функции, к которым Copilot имеет доступ. Среди них были функция `search_enterprise` и объект `EmailMessage`.

AML.CS0051Использование OpenClaw для командования и управления через промпт-инъекциюАктор: HiddenLayer / Тактика: AML.TA0008 Выявление

Исследователи обнаружили конкретные управляющие последовательности OpenClawd, включая `<<<end_tool_call_result>>>`, `<<<start_user_message>>>`, `<<<end_user_message>>>`, `<think>` и `</think>`.