Саморепликация промпта LLM
Оригинал: LLM Prompt Self-Replication
Злоумышленник может использовать тщательно подготовленную промпт-инъекцию в LLM, рассчитанную на то, чтобы заставить LLM воспроизвести промпт как часть своего ответа. Это позволяет промпту распространяться на другие LLM и сохраняться в системе. Самореплицирующийся промпт обычно сочетается с другими вредоносными инструкциями, например джейлбрейком LLM или утечкой данных из LLM.
Тактики
Меры защиты
Защитные ограничения могут помогать предотвращать атаки репликации во входных и выходных данных модели.
AML.M0021Правила и инструкции для генеративного ИИИнструкции могут направлять модель к созданию более безопасных выходных данных и предотвращать генерацию самореплицирующихся выходных данных.
AML.M0022Выравнивание модели генеративного ИИВыравнивание модели может повысить защищенность моделей от атак с самореплицирующимися промптами.