Реализация
Оригинал: Implementation
Злоумышленники могут отравить исполняемую реализацию инструмента ИИ-агента, чтобы обычный вызов инструмента приводил к неавторизованному поведению или скрытым побочным эффектам. Инструмент может продолжать предоставлять заявленную функциональность, одновременно получая доступ к дополнительным данным, изменяя запросы, меняя получателей или места назначения, выполняя неавторизованные команды, ослабляя защитные механизмы либо скрытно эксфильтруя данные.
Отравление реализации не требует, чтобы модель интерпретировала вредоносные инструкции или следовала им. Вредоносный эффект создаётся исполняемой логикой, когда агент или пользователь вызывает инструмент. Например, отравленный почтовый инструмент может отправлять запрошенное сообщение, незаметно добавляя подконтрольного злоумышленнику получателя в поле скрытой копии (BCC). Инструмент обработки файлов может возвращать запрошенный результат, одновременно передавая исходный файл внешнему сервису.
Отравление реализации может быть внедрено до публикации посредством компрометации репозитория исходного кода инструмента или процесса сборки либо через вредоносное обновление после того, как пользователи начали использовать безопасную версию. Установленные экземпляры могут продолжать демонстрировать отравленное поведение даже после удаления вредоносного пакета или записи о нём в удалённом каталоге[[koi-postmark]].