Цепочка сообщений

Оригинал: Thread

Злоумышленники могут внедрять вредоносные инструкции в цепочку сообщений большой языковой модели (LLM), чтобы вызвать изменения поведения, сохраняющиеся до конца этой цепочки. Цепочка сообщений может продолжаться длительное время и охватывать несколько сессий.

Вредоносные инструкции могут внедряться через прямую или косвенную промпт-инъекцию. Прямая инъекция может происходить в случаях, когда злоумышленник получил API-ключи LLM пользователя и может напрямую добавлять запросы в любую цепочку сообщений.

По мере роста лимитов токенов LLM ИИ-системы могут использовать более крупные контекстные окна, из-за чего вредоносные инструкции дольше сохраняются в цепочке сообщений.

Отравление цепочки сообщений может затрагивать нескольких пользователей, если LLM используется в сервисе с общими цепочками сообщений. Например, если агент активен в канале Slack с несколькими участниками, одно вредоносное сообщение от одного пользователя может повлиять на поведение агента в будущих взаимодействиях с другими пользователями.

Тактики

Родительская техника

Другие подтехники родителя

Примеры процедур из кейсов