Отравление инструмента ИИ-агента

Оригинал: AI Agent Tool Poisoning

Злоумышленники могут добиться закрепления, отравляя инструменты, используемые ИИ-агентами: встроенные инструменты или инструменты, доступные агенту через подключения Model Context Protocol (MCP). Это предполагает компрометацию легитимных инструментов, уже интегрированных в среду агента.

Меняя поведение инструмента, например изменяя параметры или описания, внедряя скрытую логику или перенаправляя выходные данные, злоумышленники могут сохранять долгосрочное влияние на действия, решения или внешние взаимодействия агента. Отравленные инструменты могут незаметно эксфильтровать данные, выполнять несанкционированные команды или манипулировать последующими процессами, не вызывая подозрений.

Тактики

Примеры процедур из кейсов