Правила и инструкции для генеративного ИИ

Оригинал: Generative AI Guidelines

Правила и инструкции для генеративного ИИ — это политики, поведенческие ограничения и указания, передаваемые модели генеративного ИИ, чтобы направлять ее к желаемым результатам и удерживать от небезопасного, ненадежного или нарушающего политики поведения. Они помогают снижать риски, связанные с нарушением политик организации, ущербом для бренда, утечкой приватных данных, ложной или неподтвержденной информацией, опасными рекомендациями, а также ненадлежащим использованием инструментов или внешнего контента.

Правила и инструкции могут быть реализованы как системные промпты, шаблоны промптов, текст политики, добавляемый к пользовательским промптам, или инструкции для конкретной задачи, включаемые при формировании промпта. Они могут определять цели системы, ее роль, тон, разрешенное и запрещенное поведение, границы предметной области, требования к цитированию, правила работы с данными, критерии эскалации, а также правила безопасности и защищенности.

Типичные элементы промпта включают:

Инструкции цитировать источники или указывать, когда ответ не подтверждается доступным контекстом.
Инструкции рассматривать внешний, извлеченный или предоставленный пользователем контент как недоверенные данные, а не как авторитетные источники.
Инструкции не раскрывать системные промпты, скрытые политики, учетные данные, приватные данные или другую чувствительную информацию.
Инструкции оставаться в утвержденной предметной области приложения и отказывать в запросах за ее пределами.
Инструкции соблюдать политики конкретной организации, требования к бренду и ограничения для регулируемых областей.
Инструкции запрашивать одобрение человека перед выполнением потенциально небезопасных, привилегированных, необратимых или видимых извне действий, когда в контексте присутствует недоверенный контент (см. Участие человека в действиях ИИ-агента).

Правила и инструкции следует тестировать, проверять методами red teaming и обновлять по мере развития наблюдаемых сбоев, техник промпт-инъекции, требований политик и возможностей приложения. Они наиболее эффективны в сочетании с мерами Защитные ограничения (Guardrails) для генеративного ИИ, которые проверяют входные данные, выходные данные, извлеченный контекст и использование инструментов.