Автономные системы

Введение

По мере того как ИИ все чаще встраивается в автономные системы для повышения скорости и масштаба принятия решений, общество уже увидело значительные достижения в автономных приложениях: автономные автомобили на дорогах общего пользования^[1], более эффективный поиск и спасение с помощью дронов^[2] и даже уход за пожилыми или больными людьми^[3]. Такие применения часто захватывают воображение общества, а исследователи и энтузиасты постоянно двигают инновации вперед. При этом безопасная, защищенная и надежная эксплуатация автономных систем остается приоритетом для государственных и отраслевых организаций.

Как и внедрение ИИ в традиционную программную систему создает новые угрозы безопасности^[4], автономные системы с возможностями ИИ также подвержены дополнительным рискам безопасности, выходящим за рамки привычных аппаратных и программных уязвимостей. Угрозы автономным системам часто могут приводить к большему ущербу для физической среды вокруг системы. Например, скомпрометированному автономному автомобилю, перевозящему пассажиров по центру города, можно дать команду игнорировать знак «Стоп», что приведет к аварии и травмам пассажиров или пешеходов. Поэтому рассматривать безопасность ИИ в контексте автономных систем необходимо для их безопасной и надежной работы, а также для защиты чувствительных данных, которые они обрабатывают.

Команда MITRE ATLAS продолжает исследовать пересечение безопасности ИИ и автономных систем, а также способы включить уникальные аспекты безопасности автономных систем на базе ИИ в существующую матрицу. В этой статье представлен начальный высокоуровневый подход к ландшафту безопасности автономных систем на базе ИИ, который начинается с более ясного разбиения типового стека автономной системы. Рассмотрение каждого компонента стека автономности помогает лучше выявлять и понимать уникальные интеграции ИИ, а значит и связанные с ними уязвимости.

Цель этой работы — познакомить исследователей безопасности ИИ со стеком автономности и дать новые материалы пользователям и исследователям автономных систем, которые оценивают последствия применения ИИ для безопасности своих систем. Ниже приведено разбиение компонентов стека автономности и отмечены области, где может использоваться ИИ.

Стек автономности

Обычный поток работы автономной системы выглядит так: система получает информацию о физической среде вокруг себя, принимает решения на основе этой информации и затем автономно действует в этой среде. Конкретные приложения и технологии могут сильно различаться, но элементы системы можно обобщить как компоненты, отвечающие за отдельные задачи. Совокупность таких компонентов называется стеком автономности.

Стек автономности начинается с сенсоров, таких как LiDAR и радары, которые получают и обрабатывают сенсорные данные из среды для задач восприятия, планирования и локализации. Собранная информация затем используется системой при принятии решений, которые могут реализовываться механизмами вроде роботизированной руки или рулевого управления. Физическое изменение — например движение манипулятора или перестроение автономного автомобиля — выполняют компоненты управления, интерфейса транспортного средства и аппаратных средств управления. Управление питанием, которое отслеживает и учитывает информацию от источников питания системы, также является важным компонентом и может влиять на принятие решений. Удаленное управление и ретрансляция данных могут применяться для связи автономной системы и координации действий с другими подключенными автономными системами. Пользовательский интерфейс также может передавать информацию пользователям и получать ее от них, например от пассажира внутри автономного автомобиля.

Диаграмма ниже показывает компоненты, из которых состоит автономная система с поддержкой ИИ, используя таксономию и терминологию, широко применяемые в сообществе автономных систем и отражающие отраслевой стандарт. Хотя автономные системы различаются и не каждая использует все компоненты стека, эта визуализация передает общий поток действий: система получает информацию из среды, использует эти данные для принятия решений и вносит физические изменения в среду. Понимание точек действия, компонентов автономной системы и мест, где встроен ИИ, помогает лучше выявлять пути атаки, которые злоумышленники могут использовать против автономных систем на базе ИИ.

Диаграмма разбивает автономную систему на компоненты: система получает информацию из окружающей среды, принимает решения и выполняет физические изменения в этой среде. Оранжевые полосы обозначают компоненты, которые могут быть оснащены ИИ-алгоритмами или моделями. Компоненты, помеченные на диаграмме как опциональные, — слияние сенсорных данных и умные сенсоры — отражают более новую практику, когда вычислительные возможности встраиваются непосредственно в сенсоры или в процесс объединения данных от нескольких сенсоров. Хотя каждая автономная система использует какую-либо сенсорную технологию, умные сенсоры и системы слияния сенсорных данных, передающие уже обработанную информацию, встречаются реже. Они также достаточно отличаются от обычного сенсора, который только принимает входные данные, особенно с точки зрения уязвимостей безопасности, поэтому вынесены в отдельную опциональную категорию.

Угрозы компонентам с поддержкой ИИ

Описанные выше компоненты, которые могут быть оснащены ИИ-алгоритмами или моделями, уязвимы как к традиционным угрозам безопасности, присущим их аппаратному и программному обеспечению, так и к новым угрозам, возникающим из-за внедрения ИИ. Многие из этих ИИ-специфичных угроз можно в общем виде представить через существующие техники матрицы ATLAS, но применение в автономной системе может менять вектор атаки или увеличивать потенциальный ущерб от атаки. В отличие от других ИИ-приложений, например чат-ботов, ограниченных цифровым миром, физическое воплощение автономных систем на базе ИИ — сложных роботов или транспортных средств — создает больше возможностей для физического ущерба или вреда людям. Ниже приведен короткий пример такой опасности в контексте сенсоров и умных сенсоров.

Визуализация LiDAR-сенсора — Рисунок 2: визуализация LiDAR-сенсора. Источник изображения: NVIDIA.

Сенсор часто называют «глазами и ушами» автономной системы. Это устройство измеряет элемент физической среды автономной системы, например дорожные знаки, и передает информацию системе. Примеры сенсоров: камеры, радары, LiDAR и энкодеры.

Умные сенсоры — это устройства, в которые встроена дополнительная логика, часто ИИ-алгоритм. Поэтому они передают системе управления обработанную информацию, а не необработанные показания сенсора. AI Camera — пример умного сенсора, который может использоваться в автономной системе.

Возможные векторы атаки:

Подмена сигналов сенсоров (sensor spoofing), при которой компрометируется программное или аппаратное обеспечение сенсора, из-за чего система действует ненормально или ошибочно. Если злоумышленник физически находится рядом с транспортным средством, атака может включать блокирование или смещение самих сенсоров. Злоумышленники также могут воздействовать на ПО, изменяя параметры и заставляя сенсоры воспринимать объекты на неверных расстояниях. Источник: отчет транспортного института Virginia Tech о концепции эксплуатации грузовых автопарков.
- Пример подмены LiDAR: Sato et al. (2025): о реалистичности атак подмены LiDAR против автономного автомобиля на высокой скорости и большой дистанции.
Манипулирование средой с помощью атак с состязательными патчами или других физических изменений, например изменения дорожных знаков, также может повлиять на сенсорные данные и вызвать нештатное поведение, способное намеренно повредить транспортные средства или причинить вред людям внутри них или поблизости.
- Физически реализуемый состязательный пример: Tu et al. (2020): физически реализуемые состязательные примеры для обнаружения объектов по LiDAR.

Дополнительные материалы

Пока команда ATLAS развивает собственные материалы по этой теме, ниже приведен короткий список внешних ресурсов об автономных системах на базе ИИ для заинтересованных участников сообщества.

Дополнительные сведения об общей безопасности аппаратного обеспечения в контексте ИИ-систем см. в соответствующем разделе материала «Безопасность ИИ 101». Если у вас есть предложения по новым кейсам, тактикам или техникам, которые команда MITRE ATLAS могла бы добавить в ATLAS по этой теме, свяжитесь с командой через LinkedIn или электронную почту.