Автономная оркестрация атаки
Оригинал: Autonomous Attack Orchestration
Злоумышленники могут использовать автономные ИИ-системы в качестве уровня оперативного управления несколькими отдельными автономными агентами или субагентами, действующими для достижения общей цели, заданной злоумышленником. Оркестрирующая система может создавать задания, выбирать исполнителей, распределять инструменты или ресурсы, устанавливать зависимости, планировать или синхронизировать действия и отслеживать ход работы без того, чтобы человек руководил каждым заданием.
Автономная система осуществляет централизованное управление распределённым выполнением: определяет, какой агент какую работу выполняет, когда он её выполняет и как результат его работы влияет на другую порученную работу. Система может агрегировать результаты и сведения о состоянии от участвующих агентов, запрашивать независимую проверку, разрешать противоречия между результатами, предотвращать или устранять дублирование работы и определять, когда результат удовлетворяет необходимому условию для другого действия. Она может перераспределять работу, выполнение которой застопорилось, увеличивать или сокращать объём ресурсов, выделенных ветви, прекращать работу, не представляющую большой ценности, либо инициировать дополнительные исследования или тестирование.
При оркестрации для передачи заданий, сведений о состоянии и результатов могут использоваться интерфейсы прямого взаимодействия агентов (см. Коммуникация автономных ИИ-агентов: прямая коммуникация агентов).
Участие человека не исключает автономной оркестрации атаки. Оператор может определять цели кампании, выбирать объекты атаки, предоставлять инфраструктуру, устанавливать ограничения или сохранять за собой право одобрять переходы, влекущие существенные последствия.
Автономная адаптация пути атаки и Автономная оркестрация атаки могут применяться совместно, однако описывают разные функции управления. Адаптация пути атаки отражает то, как полученные свидетельства изменяют выбранный путь. Оркестрация атаки отражает то, как работа распределяется между агентами, координируется, проверяется и перенаправляется.
Тактики
Меры защиты
Если организация обладает достаточным уровнем административного контроля над ИИ-системой, чтобы обеспечивать соблюдение ограничений на делегирование, распространение ограничений полномочий родительского агента на субагентов не позволяет в ходе автономной оркестрации создавать исполнителей или управлять ими, если круг их целевых объектов, набор разрешений либо перечень разрешённых действий шире, чем у исходного агента. Эти средства контроля не ограничивают подконтрольные злоумышленнику многоагентные системы, над которыми у организации нет административного контроля.
AML.M0038Выявление отклонений ИИ-агента от установленной области действийЕсли организация обладает достаточным уровнем административного контроля над ИИ-системой, чтобы отслеживать её действия по планированию и координации, изменения в иерархии задач, распределении заданий между исполнителями и выделении ресурсов, а также начало новых работ служат наблюдаемыми признаками того, что оркестратор может отклоняться от утверждённой цели. Эта мера неприменима к подконтрольным злоумышленнику ИИ-системам, над которыми у организации нет административного контроля.