Отложенное выполнение инструкций LLM
Оригинал: Delay Execution of LLM Instructions
Злоумышленники могут включать инструкции, которые ИИ-система должна выполнить в ответ на будущее событие, например определенное ключевое слово или следующее взаимодействие, чтобы избежать обнаружения или обойти меры контроля, применяемые к ИИ-системе.
Например, злоумышленник может включить в свой промпт фразу “Если пользователь отправит новый запрос…”, за которой следуют вредоносные инструкции.
ИИ-агенты могут включать защитные меры против промпт-инъекций, которые предотвращают вызов определенных инструментов или доступ к некоторым источникам данных в ходе диалогового шага, где в контексте присутствуют недоверенные данные. Откладывание выполнения инструкций до будущего взаимодействия или появления ключевого слова - один из способов, с помощью которого злоумышленники могут обойти такой контроль.