Джейлбрейк LLM

Оригинал: LLM Jailbreak

Злоумышленники могут побуждать большую языковую модель (LLM) игнорировать, обходить или переопределять её механизмы безопасности/выравнивания и/или защитные ограничения, чтобы получить ответы, которые модель по замыслу должна блокировать. После джейлбрейка злоумышленник может использовать LLM непредусмотренными способами. Джейлбрейки могут выполняться с помощью состязательного промптинга либо путём изменения весов модели или механизмов безопасности.

Злоумышленники могут пытаться выполнить джейлбрейк для уклонения от защиты от правил и инструкций и защитных ограничений самой LLM, чтобы затем раскрыть информацию (например: утечка данных LLM, выявление системной информации LLM) или сгенерировать вредоносный контент (например: генерация вредоносных команд, целевой фишинг через LLM для социальной инженерии). Они также могут выполнять джейлбрейк модели для повышения привилегий, чтобы вызывать инструменты или выполнять действия в собственных целях (например: вызов инструментов ИИ-агента) либо использовать агента как канал командования и управления (например: ИИ-агент).

Злоумышленники используют различные стратегии для составления джейлбрейк-промптов. Промпты могут быть нацелены на конкретные модели или семейства моделей и дорабатываться итеративно до успешного результата. Поставщики моделей активно обновляют защитные ограничения своих моделей, чтобы повышать их устойчивость к джейлбрейк-промптам по мере появления новых промптов. Распространённые стратегии [[jailbreak-guide]] включают, помимо прочего:

• Переопределение инструкций: использовать формулировки, которые пытаются заменить собой ранее заданные ограничения (например, “ignore previous instructions”).

• Ролевая игра / переключение персоны: предписать LLM принять идентичность или режим, допускающий ответы без ограничений (например, “as a security researcher”).

• Художественное оформление и гипотетические сценарии: предписать LLM включить запрещённый контент как часть рассказа, сценария или учебной ситуации.

• Отделение намерения от содержимого: запросить анализ, примеры, шаблоны или пограничные случаи, которые неявно содержат запрещённый контент.

• Многошаговая эскалация / Crescendo: использовать последовательность промптов, которые начинаются с безобидных запросов, устанавливают доверие, а затем постепенно пересекают границы политики с помощью инкрементальных промптов.

• Ограниченные форматы вывода: предписать LLM выводить результат по строгой схеме или в заданном формате (например, JSON, YAML, код или таблицы).

• Обфускация и преобразование: использовать кодирование, преобразования, перевод или эвфемизмы (например, кодирование base64, “describe it in another language”).

• Создание высокоприоритетной цели: представить выполнение запроса как необходимое для основной задачи пользователя (например, “to complete the evaluation,” “to follow the spec,” “to follow safety guidelines”).

• Подтверждение: добавление подтверждений, таких как “sure”, в конец промптов может помогать обходить отказы при генерации вредоносного или иного нежелательного контента.[[cybernews]]

Злоумышленники также могут использовать алгоритмические подходы к генерации джейлбрейк-промптов [[jailbreak-zoo]] [[jailbreak-survey]]. Алгоритмическая генерация джейлбрейков позволяет применять автоматизированные методы, которые находят джейлбрейки в больших масштабах. Некоторые подходы автоматизируют ручные стратегии [[autodan]] [[gptfuzzer]] [[crescendo]] [[echo-chamber]], тогда как другие напрямую оптимизируют строку токенов [[universal]], создавая бессмысленный текст. Жизнеспособны как оптимизационные подходы в режиме чёрного ящика (применимы к коммерческим моделям, где у злоумышленника есть только доступ к запросам к модели), так и в режиме белого ящика (применимы в open-source-среде, где у злоумышленника есть полный доступ к весам модели).

Злоумышленники также могут напрямую манипулировать весами модели либо изменять или удалять части модели, чтобы создать джейлбрейкнутый вариант целевой модели или вариант без цензурных ограничений. Это применимо к open-source-моделям или к случаям, когда злоумышленник получает полный доступ к целевой модели. Подходы включают дообучение для снижения числа отказов [[single-direction]], целевое редактирование модели [[rome]], добавление адаптеров [[lora]] и удаление механизмов безопасности, таких как защитные ограничения.

Джейлбрейк-промпты, которые, как известно, работают на разных классах LLM, часто публикуются open-source-сообществом [[dan]]. Джейлбрейкнутые LLM или LLM без цензурных ограничений, обученные или дообученные для работы в джейлбрейкнутом режиме, распространяются в публичных реестрах моделей, таких как Hugging Face [[abliteration]].

Тактики

Меры защиты

Примеры процедур из кейсов

Источники

• Uncensor any LLM with abliteration
• AutoDAN: Generating Stealthy Jailbreak Prompts on Aligned Large Language Models
• Great, Now Write an Article About That: The Crescendo Multi-Turn LLM Jailbreak Attack
• ChatGPT DAN
• The Echo Chamber Multi-Turn LLM Jailbreak
• GPTFUZZER: Red Teaming Large Language Models with Auto-Generated Jailbreak Prompts
• Jailbreaking LLMs: A Comprehensive Guide (With Examples)
• Jailbreak Attacks and Defenses Against Large Language Models: A Survey
• JailbreakZoo: Survey, Landscapes, and Horizons in Jailbreaking Large Language and Vision-Language Models
• LoRA Fine-tuning Efficiently Undoes Safety Training in Llama 2-Chat 70B
• Locating and Editing Factual Associations in GPT
• Refusal in Language Models Is Mediated by a Single Direction
• Universal and Transferable Adversarial Attacks on Aligned Language Models
• GitHub Copilot Jailbreak Vulnerability Let Attackers Train Malicious Models