Отравление контекста ИИ-агента
Оригинал: AI Agent Context Poisoning
Злоумышленники могут пытаться манипулировать контекстом, который использует большая языковая модель (LLM) ИИ-агента, чтобы повлиять на генерируемые ею ответы или выполняемые действия. Это позволяет злоумышленнику устойчиво изменить поведение целевого агента и продвинуться к своим целям.
Отравление контекста может выполняться через промпт, который заставляет LLM добавить инструкции или предпочтения в память (см. Память), либо через обычный промпт к LLM, использующей предыдущие сообщения в цепочке как часть своего контекста (см. Цепочка сообщений).