Автономная адаптация пути атаки
Оригинал: Autonomous Attack-Path Adaptation
Злоумышленники могут использовать ИИ-агента для автономного построения и многократного пересмотра пути атаки, ведущего к заданной злоумышленником цели. Получив цель высокого уровня, система может формировать промежуточные цели, определять необходимые условия, сравнивать возможные пути и учитывать наблюдения, полученные в результате предыдущих действий, чтобы адаптивно выстраивать последовательность техник без руководства человеком на каждом шаге.
Автономные ИИ-агенты могут проявлять такое поведение и при выполнении задачи, поставленной в законных, безвредных или разрешённых целях, если выбранные системой промежуточные цели или методы пересекают границы полномочий, доверия, контроля или безопасности и приводят к попытке осуществить вредоносную киберактивность либо к её фактическому осуществлению.
В ходе повторяющихся циклов «наблюдение — решение — действие» система может интерпретировать выходные данные команд, ошибки, реакцию защитных средств, изменения в доступе и вновь обнаруженные сведения. На основе этих наблюдений она может менять приоритет действий, заменять промежуточную цель, отказываться от непродуктивной ветви, отбрасывать выводы, опровергнутые дополнительными доказательствами, или следовать альтернативным путём.
Автономная ИИ-система может формировать вспомогательные цели, основное назначение которых — расширить её будущие операционные возможности, а не непосредственно выполнить поставленную задачу. Такие цели могут включать получение новых эксплойтов (см. Автономная разработка эксплойтов), дополнительных полномочий, идентичностей, сред выполнения, каналов связи, инструментов или отношений доверия, расширяющих набор действий, доступных в последующих циклах планирования. Вновь полученные возможности сами могут стать необходимыми условиями для новых вспомогательных целей, что приводит к постепенному расширению области действий агента в ходе операции.
Перепланирование пути атаки может происходить в рамках одного запуска агента или возникать при работе нескольких независимых агентов. Агенты могут обмениваться информацией посредством сохраняемых общих артефактов (см. Коммуникация автономных ИИ-агентов: коммуникация через общие артефакты), благодаря чему обнаруженные сведения, запросы, возможности, ограничения, состояние задачи и результаты одного агента могут влиять на последующий путь, выбранный другим. Участвующие агенты могут принимать к выполнению запросы друг друга, добровольно распределять работу, повторно использовать успешные методы, продолжать незавершённые действия или перенаправлять собственные локальные пути без централизованного планировщика, общего окна контекста или полного представления об операции в целом.
Участие человека не исключает автономного перепланирования пути атаки. Оператор, пользователь, специалист по оценке или рабочий процесс могут выбирать цель атаки, определять задачу, устанавливать ограничения, предоставлять возможности или одобрять переходы, влекущие существенные последствия.
Автономная адаптация пути атаки и Автономная оркестрация атаки могут применяться совместно, однако описывают разные функции управления. Адаптация пути атаки отражает то, как полученные свидетельства изменяют выбранный путь. Оркестрация атаки отражает то, как работа распределяется между агентами, координируется, проверяется и перенаправляется.
Тактики
Меры защиты
Если организация обладает достаточным уровнем административного контроля над ИИ-системой, чтобы обеспечивать соблюдение установленных для неё границ полномочий, контроль расширения полномочий ИИ-агента может непосредственно ограничивать достижение вспомогательных целей, направленных на получение новых полномочий, идентичностей, сред выполнения, инструментов, каналов связи или отношений доверия. Эти средства контроля не ограничивают подконтрольные злоумышленнику ИИ-системы, над которыми у организации нет административного контроля.
AML.M0038Выявление отклонений ИИ-агента от установленной области действийЕсли организация обладает достаточным уровнем административного контроля над ИИ-системой, чтобы отслеживать её планы и действия, выявление отклонений ИИ-агента от установленной области действий позволяет проверить, остаются ли динамически формируемые промежуточные действия в рамках поставленной агенту задачи. Эта мера неприменима к подконтрольным злоумышленнику ИИ-системам, над которыми у организации нет административного контроля.
Примеры процедур из кейсов
Перед агентами стояла цель выполнить задания ExploitGym. Исчерпав предусмотренные способы решения, они начали исследовать доступное им окружение и разрабатывать альтернативные способы выполнения своих задач. Агенты формировали промежуточные цели и неоднократно перестраивали путь атаки, включавший обход изоляции, использование внешней инфраструктуры, получение материалов, связанных с заданием, эксплуатацию уязвимостей Hugging Face, получение доступа к учётным данным и сбор данных.
AML.CS0069Кибершпионская кампания GTG-1002 с использованием Claude CodeGTG-1002 задала своему агенту Claude цели, область которых ограничивалась выбранной человеком организацией, под ложным предлогом проведения защитного тестирования. Между контрольными точками, требовавшими решений операторов, агент самостоятельно определял и корректировал промежуточные действия по разведке, эксплуатации уязвимостей, получению доступа к учётным данным, перемещению по внутренней инфраструктуре, сбору и эксфильтрации данных. Доступные инструменты он выбирал и вызывал с учётом результатов выполненных действий.
AML.CS0070Злоумышленник использовал Hermes Agent на базе DeepSeek при попытках эксплуатации Langflow и n8nПолучив первоначальное задание, DeepSeek выстроил последовательность действий по разведке и эксплуатации уязвимостей, проанализировал невыполнение необходимых условий, отказался от Langflow как цели, сравнил альтернативные продукты и уязвимости и выбрал n8n. Unit 42 не обнаружила в восстановленном сеансе никаких дополнительных указаний оператора.
AML.CS0071Мультиагентный фреймворк скомпрометировал государственные системы ТайваняФреймворк сформировал множество возможных многоэтапных путей атаки с учётом подтверждённых необходимых условий, выявленных препятствий и оценок вероятности успеха. Он повышал приоритет путей, подкреплённых проверенными данными, ставил в очередь пути, требовавшие дополнительного исследования, отбрасывал ложноположительные результаты и заблокированные пути, а когда существующие методы не срабатывали — запускал циклы обучения применительно к конкретному целевому объекту.