Защитные ограничения (Guardrails) для генеративного ИИ

Оригинал: Generative AI Guardrails

Защитные ограничения — это механизмы безопасности, размещаемые между пользователями, инструментами и моделями генеративного ИИ для оценки промптов, извлеченного контекста, выходных данных модели и действий агента до того, как они будут приняты, выполнены или показаны пользователю. Они помогают блокировать, изменять или перенаправлять нежелательное содержимое, такое как вредоносный код, вредоносные инструкции, чувствительные данные, неподтвержденные утверждения, ответы, нарушающие политики, или небезопасные запросы к инструментам.

Защитные ограничения могут быть реализованы с помощью механизмов на основе правил, таких как фильтры, списки разрешений, списки блокировок, регулярные выражения, валидация схем, правила политик и проверки разрешений, либо с помощью техник на основе ИИ, таких как классификаторы, LLM-рецензенты или LLM-судьи, распознавание именованных сущностей (NER), проверки опоры на источники и проверки соответствия задаче. Они могут применяться на нескольких этапах рабочего процесса генеративного ИИ, включая обработку входных данных, формирование промпта, извлечение данных, выполнение инструментов, проверку выходных данных модели и мониторинг после развертывания.

Примеры конкретных реализаций защитных ограничений включают:[[owasp-llm-top10]] [[datadog-llm-guardrails]] [[azure-ai-content-safety]] [[nvidia-nemo-guardrails]]

• Модерация входных данных: проверка пользовательских промптов на вредоносное содержимое, попытки prompt injection, попытки jailbreak, чувствительные данные, запросы не по теме или входные данные, превышающие ожидаемую длину либо не соответствующие ожидаемому формату.
• Модерация выходных данных: сканирование ответов модели перед отправкой пользователям на предмет вредоносного содержимого, PII, секретов, нарушений политик, неподтвержденных утверждений или небезопасного кода с помощью классических сканеров, классификаторов или выделенной модели-рецензента.
• Обеспечение соблюдения системного промпта и политик: обеспечение выполнения системных инструкций, ролей пользователей, границ предметной области, форматов ответов и политик отказа до того, как модель сформирует ответ (см. Инструкции для генеративного ИИ).
• Защитные ограничения для инструментов и действий: проверка вызовов инструментов, аргументов инструментов, разрешений и выходных данных инструментов перед выполнением либо до возврата результатов модели. Требуйте подтверждения человеком для высокозначимых, необратимых, привилегированных или внешне видимых действий (см. Участие человека в действиях ИИ-агента, Валидация входных и выходных данных компонентов ИИ-агента).
• Защитные ограничения при извлечении данных: фильтрация и проверка извлеченных документов перед добавлением в контекст модели, включая проверки на недоверенные источники, вредоносные инструкции, нерелевантный контекст или чувствительные данные.
• Проверки опоры на источники и фактической корректности: сравнение ответов модели с доверенными исходными материалами или утвержденными базами знаний для выявления неподтвержденных или галлюцинированных утверждений.
• Защита чувствительных данных и секретов: обнаружение, редактирование или блокирование персональной информации, учетных данных, токенов, проприетарных данных, системных промптов и другой конфиденциальной информации в промптах, извлеченном контексте, выходных данных инструментов и ответах модели.
• Валидация структурированных выходных данных: обеспечение соблюдения схем, проверок типов, разрешенных значений и безопасных форматов до того, как выходные данные модели будут использованы нижестоящими системами.

Защитные ограничения следует непрерывно оценивать, проверять с помощью red teaming и обновлять по мере развития состязательных техник. Решения защитных ограничений должны журналироваться (см. Логирование телеметрии ИИ), а выявленные сбои следует систематически учитывать при обновлении политик, наборов данных для оценки, логики обнаружения, промптов и Выравнивания модели генеративного ИИ.

Связанные техники