Изменение логики формирования промпта
Оригинал: Modify Prompt Construction Logic
Злоумышленники могут изменять шаблоны, разделители ролей, встроенные системные инструкции, настройки токенизатора, форматирование вызовов инструментов или иную включенную в состав артефакта логику, которая формирует контекст, передаваемый ИИ-модели. В файлах моделей таких форматов, как GGUF, эта логика может быть упакована вместе с весами модели в единый распространяемый артефакт. Совместимая среда выполнения инференса может интерпретировать измененную логику при обработке последующих запросов на инференс, что открывает возможность для устойчивого скрытого внедрения инструкций, изменения их приоритета, перенаправления вызовов инструментов или манипулирования выходными данными модели — без изменения ее весов.