Выравнивание модели генеративного ИИ
Оригинал: Generative AI Model Alignment
При обучении или дообучении модели генеративного ИИ важно использовать техники, которые улучшают выравнивание модели с политиками безопасности и защищенности, а также контентными политиками.
Процесс дообучения потенциально может удалить встроенные механизмы безопасности в модели генеративного ИИ, но применение таких техник, как Supervised Fine-Tuning, Reinforcement Learning from Human Feedback or AI Feedback и Targeted Safety Context Distillation, может повысить безопасность и выравнивание модели.
Связанные техники
Выравнивание модели может повысить параметрическую безопасность модели, уводя ее от небезопасных промптов и ответов.
AML.T0053Вызов инструментов ИИ-агентаВыравнивание модели может повысить параметрическую безопасность модели, уводя ее от небезопасных промптов и ответов.
AML.T0054Джейлбрейк LLMВыравнивание модели может повысить параметрическую безопасность модели, уводя ее от небезопасных промптов и ответов.
AML.T0056Извлечение системного промпта LLMВыравнивание модели может повысить параметрическую безопасность модели, уводя ее от небезопасных промптов и ответов.
AML.T0057Утечка данных из LLMВыравнивание модели может повысить параметрическую безопасность модели, уводя ее от небезопасных промптов и ответов.
AML.T0061Саморепликация промпта LLMВыравнивание модели может повысить защищенность моделей от атак с самореплицирующимися промптами.
AML.T0062Выявление галлюцинированных сущностей LLMВыравнивание модели может помогать уводить модель от галлюцинированного контента.