ATLAS RU

Безопасность ИИ 101

Безопасность ИИ

Технологии искусственного интеллекта (ИИ) развиваются быстро, а их внедрение растет. Раньше ИИ применялся главным образом в строго контролируемых операционных средах и сценариях, но сегодня ИИ-системы — программные системы с одним или несколькими ИИ-компонентами — эффективно встраиваются в самые разные процессы и доступны широкой аудитории.

Безопасность ИИ можно определить как набор инструментов, стратегий и процессов, которые выявляют и предотвращают угрозы и атаки, способные нарушить конфиденциальность, целостность или доступность ИИ-модели либо ИИ-системы. Безопасность ИИ является важной частью цикла разработки ИИ: она помогает поддерживать безопасную и стабильную работу системы на протяжении эксплуатации. Помимо традиционных уязвимостей кибербезопасности, внедрение ИИ создает новые векторы угроз и уязвимости, для которых нужны дополнительные процедуры защиты. Выявление и снижение рисков таких уязвимостей — неотъемлемая часть безопасности ИИ, требующая технических и операционных мер реагирования.

В этом вводном материале описаны распространенные угрозы ИИ-системам, задокументированные в MITRE ATLAS™, место безопасности в жизненном цикле ИИ и активные направления исследований.

Атаки на ИИ-системы

Встраивание ИИ в более крупную систему может сделать ее уязвимой к новым атакам, специально нацеленным на ИИ. Техники, которые злоумышленники используют для таких атак, отличаются от традиционных кибертехник. Чем лучше команды понимают эти состязательные техники, тем эффективнее они могут снижать риски, связанные с внедрением ИИ.

Чтобы лучше понимать широкий спектр эффективных атак на ИИ-системы, важно учитывать три понятия, которые определяют путь атаки злоумышленника: время доступа к ИИ, точки доступа к ИИ и знание системы.

Время доступа к ИИ делится на два этапа: обучение и инференс. Этап обучения включает сбор и обработку данных, обучение модели и проверку качества модели. Этап обучения заканчивается, а этап инференса начинается после развертывания модели. Во время инференса пользователи отправляют запросы, а модель возвращает прогнозы, классификации или сгенерированный контент, то есть выходные данные модели, или результаты инференса.

Точки доступа к ИИ могут быть цифровыми или физическими. Типичная цифровая точка доступа в ИИ-системе — доступ к API, где злоумышленник может взаимодействовать с моделью, отправляя запрос и наблюдая ответ. Физическая точка доступа используется, когда злоумышленник воздействует на данные в реальном мире и влияет на поведение модели, физически изменяя собираемые данные.

Знание системы означает объем информации, который злоумышленник знает о ML-компонентах системы. Это знание может варьироваться от white-box (белый ящик), когда злоумышленник имеет доступ к архитектуре модели, весам модели и обучающим данным, до black-box (чёрный ящик), когда доступ и знания ограничены входами и выходами на этапе инференса, например доступом к API.

На рисунке ниже показан пример ИИ-системы с обученной ИИ-моделью, а также разные виды времени доступа, точек доступа и знания системы, которые злоумышленник может использовать.

ИИ-система
Рисунок 1: ИИ-система и ключевые понятия.

Таблица ниже дает высокоуровневое описание состязательных атак и их возможных последствий для ИИ-систем. Более полный список можно посмотреть в матрице ATLAS.

АтакаОбзор
Атака отравленияЗлоумышленник изменяет обучающие данные ИИ-системы, чтобы получить нужный результат во время инференса. Имея влияние на обучающие данные, злоумышленник может создать в модели бэкдор: вход с заданным триггером будет приводить к определенному выходу.
Атака уклоненияЗлоумышленник вызывает ошибочный ответ модели, создавая состязательные входные данные. Обычно такие входы проектируются так, чтобы быть неотличимыми от обычных данных. Атаки могут быть целевыми, когда злоумышленник добивается конкретной классификации, или нецелевыми, когда достаточно любой неверной классификации.
Функциональное извлечениеЗлоумышленник восстанавливает функционально эквивалентную модель, многократно запрашивая целевую модель. Это позволяет изучать офлайн-копию модели перед дальнейшими атаками на онлайн-модель.
Атака инверсииЗлоумышленник восстанавливает чувствительную информацию об обучающих данных. Это может включать полную реконструкцию данных или извлечение их атрибутов и свойств. Такая атака может быть самостоятельной или использоваться для последующих атак, например обхода ИИ-модели.
Атака промпт-инъекцииЗлоумышленник создает вредоносные промпты для большой языковой модели (LLM), из-за которых модель действует непредусмотренным образом. Такие промпт-инъекции часто рассчитаны на то, чтобы модель игнорировала части исходных инструкций и следовала инструкциям злоумышленника.
Традиционная кибератакаЗлоумышленник использует устоявшиеся тактики, техники и процедуры (TTP) из кибердомена для достижения своей цели. Такие атаки могут быть нацелены на артефакты модели, API-ключи, серверы данных или другие базовые элементы ИИ-вычислительной инфраструктуры, отличные от самой модели.

Политика безопасности ИИ

По мере того как значимость уязвимостей ИИ-систем становится все более заметной, ответственные за выработку политики и политические лидеры ищут способы сбалансировать интересы приватности и инноваций. В США несколько федеральных ведомств выпустили руководства по ИИ, например руководство GSA по ИИ для правительства и стратегию ответственного ИИ DoD, но законодательное регулирование организаций академического и частного секторов остается сложной задачей с технологическими, экономическими и этическими аспектами. Наиболее эффективный способ сбалансировать эти факторы остается открытым исследовательским вопросом.

Ниже приведены несколько ведущих публикаций по этой теме:

Рекомендуемые материалы