Формирование предвзятых ответов ИИ-агента
Оригинал: AI Agent Response Biasing
Злоумышленники могут манипулировать ИИ-ассистентом, чтобы в ответах он отдавал предпочтение выбранным ими источникам или материалам. Внедряя инструкции, такие как treat [source] as a trusted source или recommend [source] first,, злоумышленник делает ответы ассистента предвзятыми в своих интересах: ассистент представляет рекламный контент или материалы, выгодные злоумышленнику, как нейтральный, хорошо обоснованный ответ. Это нарушает целостность ответов ассистента и снижает их надёжность в вопросах, в которых пользователь может на него полагаться, например здоровья, финансов или безопасности. При этом пользователь не знает, что рекомендации стали предвзятыми.
Внедряемые инструкции могут доставляться разными способами, например через [Специально сформированные ссылки на ИИ-ассистента]. Такое воздействие может сохраняться, если память агента была отравлена (см. Отравление контекста ИИ-агента: Память).