Уничтожение данных через вызов инструмента ИИ-агента

Оригинал: Data Destruction via AI Agent Tool Invocation

Злоумышленники могут вызывать инструмент ИИ-агента, способный выполнять изменяющие операции, чтобы уничтожать данные. Злоумышленники могут уничтожать данные и файлы на отдельных системах или массово в сети, чтобы нарушить доступность систем, сервисов и сетевых ресурсов.

Тактики

AML.TA0011Воздействие

Меры защиты

AML.M0024Логирование телеметрии ИИ

Логируйте вызовы инструментов ИИ-агента для обнаружения вредоносных вызовов.

AML.M0026Настройка разрешений привилегированного ИИ-агента

Надлежащий контроль доступа к использованию инструментов привилегированными ИИ-агентами может ограничить способность злоумышленника злоупотреблять вызовами инструментов при компрометации агента.

AML.M0027Настройка разрешений ИИ-агента одного пользователя

Настройка ИИ-агентов с разрешениями на использование инструментов, унаследованными от пользователя, может ограничить способность злоумышленника злоупотреблять вызовами инструментов при компрометации агента.

AML.M0028Настройка разрешений инструментов ИИ-агента

Настройка инструментов ИИ-агента с контролем доступа, унаследованным от пользователя или вызывающего их ИИ-агента, может ограничить возможности злоумышленника в системе, включая злоупотребление вызовами инструментов для уничтожения данных.

AML.M0029Участие человека в действиях ИИ-агента

Требование подтверждения пользователем вызовов инструментов ИИ-агента может предотвратить автоматическое выполнение инструментов злоумышленником.

AML.M0030Ограничение вызова инструментов ИИ-агента при работе с недоверенными данными

Ограничение автоматического использования инструментов при наличии недоверенных данных может помешать злоумышленникам вызывать инструменты через промпт-инъекции.

Примеры процедур из кейсов

AML.CS0046Уничтожение данных через косвенную промпт-инъекцию, нацеленную на Claude Computer UseАктор: HiddenLayer / Тактика: AML.TA0011 Воздействие

Команда оболочки, выполненная Claude Computer Use, удалила файловую систему жертвы.

AML.CS0047Код для развертывания деструктивного ИИ-агента обнаружен в расширении Amazon Q для VS CodeАктор: lkmanka58 (GitHub user) / Тактика: AML.TA0011 Воздействие

Промпт заставил агента Amazon Q вызвать файловые инструменты и `bash`, чтобы удалить данные в файловой системе и облачные ресурсы.