Извлечение системного промпта LLM
Оригинал: Extract LLM System Prompt
Злоумышленники могут пытаться извлечь системный промпт большой языковой модели (LLM). Это можно сделать с помощью промпт-инъекции, чтобы заставить модель раскрыть собственный системный промпт, либо путем извлечения из конфигурационного файла.
Системные промпты могут быть частью конкурентного преимущества поставщика ИИ и поэтому представлять собой ценную интеллектуальную собственность, на которую могут нацеливаться злоумышленники.
Тактики
Меры защиты
Защитные ограничения могут предотвращать вредоносные входные данные, способные привести к извлечению метапромпта.
AML.M0021Правила и инструкции для генеративного ИИИнструкции для модели могут предписывать ей отказываться отвечать на небезопасные входные данные.
AML.M0022Выравнивание модели генеративного ИИВыравнивание модели может повысить параметрическую безопасность модели, уводя ее от небезопасных промптов и ответов.