Выявление отклонений ИИ-агента от установленной области действий

Оригинал: AI Agent Scope Drift Detection

На всём протяжении работы ИИ-агента непрерывно проверяйте, соответствуют ли его запланированные действия текущей утверждённой цели. Действуя в изменяющейся среде, автономные агенты могут обнаруживать или формировать промежуточные цели либо адаптировать свою стратегию с учётом обратной связи от среды. Хотя для выполнения легитимных задач может потребоваться адаптация в ограниченных пределах, существенные отклонения от исходной цели могут указывать на непредусмотренное поведение, чрезмерную автономность или попытки достичь целей, выходящих за пределы разрешённой области действий.

Реализовать выявление таких отклонений можно с помощью механизмов применения политик во время выполнения, средств мониторинга планирования, фреймворков оркестрации или дополнительных ИИ-агентов, осуществляющих надзор. К отслеживаемым признакам могут относиться:

• Существенные изменения запланированных целей или иерархии задач.
• Формирование новых долгосрочных целей, не связанных с поставленной целью.
• Использование инструментов, не соответствующее исходной задаче.
• Попытки получить доступ к системам или ресурсам, не входящим в разрешённую область действий.
• Неоднократная адаптация стратегии для достижения целей, требующих всё более широких полномочий.
• Последовательности запланированных действий, предусматривающие закрепление, повышение привилегий или не связанное с поставленной задачей горизонтальное перемещение.

При выявлении такого отклонения приостановите работу агента, ограничьте его доступ к инструментам, потребуйте внешнего одобрения, верните агента к ранее утверждённому плану либо прекратите выполнение задачи.

Связанные техники