Ограничение вызова инструментов ИИ-агента при работе с недоверенными данными

Оригинал: Restrict AI Agent Tool Invocation on Untrusted Data

Недоверенные данные могут содержать промпт-инъекции, вызывающие инструменты ИИ-агента и потенциально приводящие к нарушениям конфиденциальности, целостности или доступности. Рекомендуется ограничивать или лимитировать вызов инструментов, когда недоверенные данные попадают в контекст LLM.

Степень ограничения вызова инструментов может зависеть от потенциальных последствий действия. Рассмотрите возможность блокировать автоматический вызов инструментов или требовать подтверждения пользователя после попадания недоверенных данных в контекст LLM. Для действий, которые могут иметь серьезные последствия, рассмотрите возможность всегда требовать подтверждения пользователя.

Связанные техники