Наборы специальных символов

Оригинал: Special Character Sets

Злоумышленники могут выявлять разделители и наборы специальных символов, используемые большой языковой моделью. Например, разделители, применяемые в приложениях RAG (генерации, дополненной извлечением), чтобы отличать контекст от пользовательских промптов. Позднее эти данные могут быть использованы для того, чтобы запутать большую языковую модель или манипулировать ею, вызывая некорректное поведение.

Тактики

AML.TA0008Выявление

Родительская техника

AML.T0069Выявление системной информации LLM

Другие подтехники родителя

AML.T0069.001Ключевые слова системных инструкцийПодтехника AML.T0069.002Системный промптПодтехника

Примеры процедур из кейсов

AML.CS0026Перехват финансовой транзакции с использованием M365 Copilot в роли инсайдераАктор: Zenity / Тактика: AML.TA0008 Выявление

Исследуя ответы Copilot, исследователи выявили специальные разделители и маркеры, например `**`, `**END**`, `Actual Snippet:` и `[^1^]`. Эти строки используются как служебные признаки для отделения разных частей промпта Copilot друг от друга.

AML.CS0051Использование OpenClaw для командования и управления через промпт-инъекциюАктор: HiddenLayer / Тактика: AML.TA0008 Выявление

Исследователи выявили специальные символы, например `<<<` и `>>>`, которые OpenClawd использует для обозначения управляющих последовательностей.