Автономная разведка

Оригинал: Autonomous Reconnaissance

Злоумышленники могут использовать автономных ИИ-агентов для ведения разведки. Имея заданную цель, объект разведки или лишь предварительную зацепку, агент может автономно определять, какие сведения необходимо получить и как их искать. Он может интерпретировать наблюдения, выявлять пробелы в своём представлении о наблюдаемой извне поверхности атаки и выбирать последующие разведывательные действия без того, чтобы человек задавал ему каждый шаг расследования.

Агент может формулировать вопросы или гипотезы для расследования, выбирать источники и подходы для поиска ответов или проверки гипотез и уточнять своё представление по мере получения новых сведений. Полученные результаты могут порождать дополнительные цели разведки либо менять охват, глубину или направление расследования. Так возникает рекурсивный процесс «действие — наблюдение», в котором результаты разведки влияют на то, что агент будет исследовать далее, а не просто служат выходными данными заранее заданной процедуры.

Агент может сопоставлять сведения из общедоступных источников и доступных извне сервисов, отдавать приоритет перспективным системам, исследовать предполагаемые уязвимости, отказываться от безрезультатных подходов или выбирать альтернативные методы. Он также может расширять перечень целей или заменять их на основании обнаруженных имён, инфраструктуры или контекстных связей и самостоятельно заново оценивать, по-прежнему ли система представляет интерес и входит ли она в заданные границы. Из-за ошибочных предположений агент может начать исследовать посторонние системы или системы, исследование которых не разрешено, тогда как верное определение заданных границ может привести к прекращению или перенаправлению его действий.

Автономные ИИ-агенты способны поддерживать ведение разведки на протяжении длительных операций, анализировать сведения из множества источников и проверять большое количество альтернативных путей с такой скоростью и в таком объёме, которые людям-операторам трудно поддерживать.

Тактики

AML.TA0002Разведка

Меры защиты

AML.M0037Контроль расширения полномочий ИИ-агента

Если организация обладает достаточным уровнем административного контроля над ИИ-системой, чтобы обеспечивать соблюдение ограничений на выбор целевых объектов, вновь обнаруженные целевые объекты и ресурсы следует считать находящимися за пределами установленных границ полномочий. Это не позволяет агенту в ходе автономной разведки автоматически расширять разрешённый ему перечень целевых объектов или без одобрения проводить активное зондирование этих объектов. Эти средства контроля не ограничивают разведку, проводимую подконтрольными злоумышленнику ИИ-системами, над которыми у организации нет административного контроля.

AML.M0038Выявление отклонений ИИ-агента от установленной области действий

Если организация обладает достаточным уровнем административного контроля над ИИ-системой, чтобы отслеживать выбор этой системой целевых объектов и её разведывательные действия, выявление отклонений ИИ-агента от установленной области действий позволяет определить, когда в ходе разведки перечень целевых объектов расширяется либо одни объекты заменяются другими, причём такие изменения уже не соответствуют утверждённой цели. Эта мера неприменима к подконтрольным злоумышленнику ИИ-системам, над которыми у организации нет административного контроля.

Примеры процедур из кейсов

AML.CS0068Автономные агенты OpenAI, задействованные в оценочных испытаниях, скомпрометировали инфраструктуру Hugging FaceАктор: Autonomous OpenAI Agents / Тактика: AML.TA0002 Разведка

Получив выход в открытый интернет, агенты исследовали общедоступную инфраструктуру и обнаружили доступный из интернета стенд проверки кода по типу CyberGym, который принимал исходный код на C и сопутствующие метаданные отправки.

Агенты искали в общедоступных ресурсах материалы для оценочных испытаний CyberGym, нашли соответствующие наборы данных Hugging Face с ограниченным доступом и установили, что для доступа к ним может потребоваться аутентификация. Затем через доску сообщений Artifactory они попросили других агентов поискать попавшие в открытый доступ учётные данные Hugging Face.

AML.CS0069Кибершпионская кампания GTG-1002 с использованием Claude CodeАктор: GTG-1002 / Тактика: AML.TA0002 Разведка

Джейлбрейкнутый агент Claude от GTG-1002 исследовал системы и инфраструктуру цели, определял направления дальнейшего исследования с учётом полученных сведений и выявил базы данных и платформы оркестрации рабочих процессов, представлявшие высокую ценность. Anthropic не указывает, о какой организации-жертве, продуктах или базах данных идёт речь.

AML.CS0070Злоумышленник использовал Hermes Agent на базе DeepSeek при попытках эксплуатации Langflow и n8nАктор: Chinese-speaking threat actor using the aliases knaithe and KnYuan / Тактика: AML.TA0002 Разведка

DeepSeek исследовал Langflow, определил, какие сведения требовалось получить и какие необходимые условия должны были выполняться, а затем с учётом полученных результатов выбрал дальнейшие действия по разведке.

DeepSeek оценил Langflow как малоценную цель, изучил доступные извне развёртывания продуктов из 10 семейств, сравнил серьёзность уязвимостей, масштабы развёртывания, наличие PoC и необходимые условия эксплуатации, после чего выбрал n8n.

AML.CS0071Мультиагентный фреймворк скомпрометировал государственные системы ТайваняАктор: Unknown Chinese-language actor / Тактика: AML.TA0002 Разведка

Фреймворк проводил разведку государственного портала Тайваня, доступного из интернета: анализировал пакеты клиентского кода приложений, прослеживал выявленные связи между элементами инфраструктуры и формировал дополнительные цели разведки. Он выявил 21 связанную систему, шесть подобластей SSO, конфигурацию аутентификации, сведения о ключах подписи и более 36 эндпоинтов API в одной системе.