Участие человека в действиях ИИ-агента

Оригинал: Human In-the-Loop for AI Agent Actions

Системы должны требовать, чтобы пользователь или другой человек из числа заинтересованных сторон одобрял действия ИИ-агента до их выполнения агентом. В зависимости от сценария использования человеком, дающим одобрение, может быть технический специалист или профильный эксперт (SME) из бизнес-подразделения. Отдельные инструменты, например специализированные агенты аудита, могут помогать в процессе одобрения человеком, но окончательное решение должен принимать человек.

Преимущества политик участия человека в контуре принятия решений (Human-in-the-Loop) для безопасности могут конфликтовать с операционными издержками дополнительных согласований. Чтобы снизить эти издержки, такие политики должны соответствовать степени последствий выполняемой задачи. Небольшие повторяющиеся задачи, выполняемые агентами с доступом к базовым инструментам, могут требовать лишь минимального надзора со стороны человека, тогда как для агентов, используемых в системах со значимыми последствиями, может потребоваться одобрение нескольких заинтересованных сторон из разных организаций.

Связанные техники