Контроль расширения полномочий ИИ-агента

Оригинал: AI Agent Authority Expansion Controls

Ограничивайте возможность ИИ-агента самостоятельно приобретать, принимать на себя или иным способом получать дополнительные полномочия, которые во время выполнения расширяют фактический набор его разрешений. Предельный объём полномочий агента следует явно установить до начала выполнения. Дополнительные ресурсы, идентичности, сервисы и целевые объекты, обнаруженные во время выполнения, следует считать находящимися за пределами установленных границ полномочий, пока они не пройдут независимую проверку и не будут включены в область действий агента. Все средства контроля расширения полномочий следует реализовывать вне ИИ-агента; их работа не должна зависеть исключительно от системных промптов, выравнивания модели или способности агента распознавать действия, выходящие за установленные для него рамки. Обеспечивать соблюдение этих ограничений можно, например, с помощью следующих механизмов:

• Механизмы применения политик
• Списки разрешённых целевых объектов
• Ограничения на протоколы и точки назначения
• Контрольные точки, требующие одобрения
• Запрет агенту использовать учётные данные, не одобренные для задачи
• Мониторинг и аудит изменений фактических полномочий агента с течением времени

Контроль расширения полномочий включает ограничения на количество, область действия, срок действия и одновременное использование токенов аутентификации и/или авторизации, доступных агенту во время выполнения. К ним могут относиться токены доступа к API, токены OAuth, сеансовые учётные данные облачных систем управления идентификацией и доступом (IAM), токены сервисных учётных записей, токены Git и другие артефакты аутентификации с коротким сроком действия. Если установленные политикой пределы достигнуты или превышены, организации могут отзывать права доступа, не допускать получения дополнительных токенов, требовать одобрения человека или принудительно завершать работу агента.

Распространяйте исходные ограничения полномочий на субагентов и делегированные задачи. Делегированный агент может быть ограничен строже, но его область действий, полномочия, круг целевых объектов и перечень разрешённых действий не должны быть шире, чем у родительского агента.

Контроль расширения полномочий следует внедрять вместе с настройками разрешений ИИ-агентов и их инструментов (см. Настройка разрешений привилегированного ИИ-агента, Настройка разрешений ИИ-агента одного пользователя, Настройка разрешений инструментов ИИ-агента). При попытках изменить область действий обеспечивайте участие человека (см. Участие человека в действиях ИИ-агента). Используйте Логирование телеметрии ИИ, чтобы регистрировать сведения о вновь обнаруженных ресурсах, отказах, исключениях, одобрениях и изменениях области действий.

Связанные техники