Меры защиты
Меры защиты описывают практики, процессы и классы технологий, которые снижают вероятность успешного применения техник ATLAS или уменьшают последствия атаки.
| ID | Название | Описание | ||
|---|---|---|---|---|
| AML.M0000 | Ограничение публичного раскрытия информации Limit Public Release of Information | Ограничьте публичное раскрытие технической информации об ИИ-стеке, используемом в продуктах или сервисах организации. Технические сведения о том, как используется ИИ, могут быть использованы злоумышленниками для... | Политика | Понимание бизнес-задачи и данных |
| AML.M0001 | Ограничение публикации артефактов модели Limit Model Artifact Release | Ограничьте публичное раскрытие технических деталей проекта, включая данные, алгоритмы, архитектуры моделей и контрольные точки моделей, которые используются в продакшене или репрезентативны для тех, что используются в... | Политика | Понимание бизнес-задачи и данных, Развертывание |
| AML.M0002 | Обфускация выходных данных предиктивного ИИ Predictive AI Output Obfuscation | Снижайте детализацию и объём информации, возвращаемой эндпоинтами инференса предиктивного ИИ, чтобы затруднить сбор сведений о модели, её извлечение и репликацию, а также оптимизацию состязательных примеров в режиме... | Техническая - ИИ | Оценка AI-модели, Развертывание |
| AML.M0003 | Повышение устойчивости моделей предиктивного ИИ Predictive AI Model Hardening | Проектируйте и обучайте модели предиктивного ИИ так, чтобы они сохраняли заданные показатели качества при обработке состязательных примеров. К состязательным примерам могут относиться входные данные с внесёнными... | Техническая - ИИ | Подготовка данных, Разработка AI-модели |
| AML.M0004 | Ограничение объёма и частоты запросов к ИИ-сервису Limit AI Service Query Volume and Rate | Ограничивайте количество и частоту запросов, которые пользователи могут направлять ИИ-сервису. Применяйте ограничения отдельно для каждого пользователя, API-ключа, тенанта, устройства или иной прошедшей аутентификацию... | Техническая - кибербезопасность | Понимание бизнес-задачи и данных, Развертывание, Мониторинг и сопровождение |
| AML.M0005 | Контроль доступа к ИИ-моделям и хранимым данным Control Access to AI Models and Data at Rest | Настройте контроль доступа к внутренним реестрам моделей и ограничьте внутренний доступ к моделям, используемым в продакшене. Ограничьте доступ к обучающим данным только для авторизованных пользователей. | Политика | Понимание бизнес-задачи и данных, Подготовка данных, Разработка AI-модели, Оценка AI-модели |
| AML.M0006 | Ансамбли моделей предиктивного ИИ Predictive AI Ensembles | Используйте ансамбль разнородных моделей предиктивного ИИ, чтобы снизить зависимость от одной модели или одного семейства моделей и повысить устойчивость к состязательным примерам. Модели в составе ансамбля должны... | Техническая - ИИ | Разработка AI-модели |
| AML.M0007 | Санитизация обучающих данных Sanitize Training Data | Выявляйте и удаляйте отравленные обучающие данные или устраняйте их влияние. Обучающие данные следует санитизировать перед обучением модели, а для модели с активным обучением — регулярно. Реализуйте фильтр для... | Техническая - ИИ | Понимание бизнес-задачи и данных, Подготовка данных, Мониторинг и сопровождение |
| AML.M0008 | Валидация ИИ-модели Validate AI Model | Проверяйте, что ИИ-модели работают как задумано: тестируйте их на наличие триггеров бэкдора, потенциальной утечки данных или состязательного воздействия. Отслеживайте концептуальный дрейф ИИ-модели и дрейф обучающих... | Техническая - ИИ | Оценка AI-модели, Мониторинг и сопровождение |
| AML.M0009 | Слияние данных нескольких сенсоров для предиктивного ИИ Predictive AI Multi-Sensor Fusion | Используйте независимые физические сенсоры (желательно разных модальностей или ведущие наблюдение с нескольких ракурсов), чтобы избежать зависимости от единственного сенсора, подверженного манипуляциям, физическому... | Техническая - кибербезопасность | Понимание бизнес-задачи и данных, Подготовка данных, Разработка AI-модели |
| AML.M0010 | Восстановление входных данных предиктивного ИИ Predictive AI Input Restoration | Предобрабатывайте входные данные для инференса предиктивного ИИ, чтобы устранить или ослабить состязательные возмущения либо нарушить их действие до того, как модель оценит эти данные. Методы восстановления могут... | Техническая - ИИ | Подготовка данных, Оценка AI-модели, Развертывание, Мониторинг и сопровождение |
| AML.M0011 | Ограничение загрузки библиотек Restrict Library Loading | Предотвращайте злоупотребление механизмами загрузки библиотек в операционной системе и программном обеспечении для загрузки недоверенного кода: настраивайте соответствующие механизмы загрузки библиотек и проверяйте... | Техническая - кибербезопасность | Развертывание |
| AML.M0012 | Шифрование чувствительной информации Encrypt Sensitive Information | Шифруйте чувствительные данные, такие как ИИ-модели, чтобы защититься от злоумышленников, пытающихся получить доступ к чувствительным данным. | Техническая - кибербезопасность | Подготовка данных, Разработка AI-модели, Развертывание |
| AML.M0013 | Подписание кода Code Signing | Обеспечивайте целостность бинарных файлов и приложений с помощью проверки цифровой подписи, чтобы предотвратить выполнение недоверенного кода. Злоумышленники могут встраивать вредоносный код в ИИ-ПО или модели.... | Техническая - кибербезопасность | Развертывание |
| AML.M0014 | Проверка ИИ-артефактов Verify AI Artifacts | Проверяйте криптографическую контрольную сумму всех ИИ-артефактов, чтобы убедиться, что файл не был изменен злоумышленником. | Техническая - кибербезопасность | Понимание бизнес-задачи и данных, Подготовка данных, Разработка AI-модели |
| AML.M0015 | Обнаружение состязательных входных данных для предиктивного ИИ Predictive AI Adversarial Input Detection | Выявляйте и блокируйте цифровые или физические состязательные примеры, поступающие на вход моделей предиктивного ИИ. Состязательные примеры — это входные данные, изменённые или созданные так, чтобы вызвать ошибочную... | Техническая - ИИ | Подготовка данных, Разработка AI-модели, Оценка AI-модели, Развертывание, Мониторинг и сопровождение |
| AML.M0016 | Сканирование уязвимостей Vulnerability Scanning | Сканирование уязвимостей используется для выявления и устранения уязвимостей ПО, потенциально пригодных для эксплуатации. Форматы файлов, например pickle-файлы, широко используемые для хранения ИИ-моделей, могут... | Техническая - кибербезопасность | Подготовка данных, Разработка AI-модели |
| AML.M0017 | Методы распространения ИИ-моделей AI Model Distribution Methods | Развертывание ИИ-моделей на периферийных устройствах может увеличить поверхность атаки системы. Рассмотрите возможность развертывать модели в облаке, чтобы снизить уровень доступа злоумышленника к модели. Также... | Политика | Развертывание |
| AML.M0018 | Обучение пользователей User Training | Обучайте разработчиков ИИ-моделей рискам цепочки поставок ИИ и распознаванию потенциально вредоносных ИИ-артефактов. Обучайте пользователей распознавать дипфейки и попытки фишинга. | Политика | Понимание бизнес-задачи и данных, Подготовка данных, Разработка AI-модели, Оценка AI-модели, Развертывание, Мониторинг и сопровождение |
| AML.M0019 | Контроль доступа к ИИ-моделям и данным в продакшене Control Access to AI Models and Data in Production | Требуйте от пользователей подтверждать свою личность перед доступом к продакшен-модели. Требуйте аутентификацию для API-эндпоинтов и отслеживайте запросы к продакшен-модели, чтобы контролировать соблюдение политик... | Политика | Развертывание, Мониторинг и сопровождение |
| AML.M0020 | Гардрейлы для генеративного ИИ Generative AI Guardrails | Гардрейлы — это средства контроля безопасности, размещаемые между пользователями, инструментами и моделями генеративного ИИ для оценки промптов, извлечённого контекста, выходных данных модели и действий агента до их... | Техническая - ИИ | Разработка AI-модели, Оценка AI-модели, Развертывание, Мониторинг и сопровождение |
| AML.M0021 | Правила и инструкции для генеративного ИИ Generative AI Guidelines | Правила и инструкции для генеративного ИИ — это политики, поведенческие ограничения и указания, передаваемые модели генеративного ИИ, чтобы направлять ее к желаемым результатам и удерживать от небезопасного,... | Техническая - ИИ | Разработка AI-модели, Оценка AI-модели, Развертывание |
| AML.M0022 | Выравнивание модели генеративного ИИ Generative AI Model Alignment | Выравнивание модели генеративного ИИ — это процесс обучения или дообучения генеративной модели, направленный на приведение её выходных данных в соответствие с набором человеческих ценностей, целей или этических... | Техническая - ИИ | Разработка AI-модели, Оценка AI-модели, Развертывание |
| AML.M0023 | Ведомость материалов ИИ AI Bill of Materials | Ведомость материалов ИИ (AI BOM) содержит полный перечень артефактов и ресурсов, использованных при создании ИИ. AI BOM помогает снижать риски цепочки поставок и быстро реагировать на сообщения об уязвимостях. Это... | Политика | Понимание бизнес-задачи и данных, Подготовка данных, Разработка AI-модели |
| AML.M0024 | Логирование телеметрии ИИ AI Telemetry Logging | Реализуйте логирование входных и выходных данных развернутых ИИ-моделей. При развертывании ИИ-агентов реализуйте логирование промежуточных шагов агентных действий и решений, доступа к данным и использования... | Техническая - кибербезопасность | Развертывание, Мониторинг и сопровождение |
| AML.M0025 | Поддержание происхождения наборов данных ИИ Maintain AI Dataset Provenance | Поддерживайте подробную историю наборов данных, используемых в ИИ-приложениях. История должна включать сведения об источнике набора данных, а также полный журнал всех изменений. | Техническая - ИИ | Понимание бизнес-задачи и данных, Подготовка данных |
| AML.M0026 | Настройка разрешений привилегированного ИИ-агента Privileged AI Agent Permissions Configuration | ИИ-агентам могут предоставляться повышенные привилегии по сравнению с обычным пользователем, чтобы поддерживать нужные рабочие процессы. При развертывании привилегированного ИИ-агента или агента, взаимодействующего с... | Техническая - кибербезопасность | Развертывание |
| AML.M0027 | Настройка разрешений ИИ-агента одного пользователя Single-User AI Agent Permissions Configuration | При развертывании ИИ-агента, который действует как представитель пользователя и выполняет действия от его имени, важно реализовать надежные политики и механизмы контроля разрешений и управления жизненным циклом... | Техническая - кибербезопасность | Развертывание |
| AML.M0028 | Настройка разрешений инструментов ИИ-агента AI Agent Tools Permissions Configuration | При развертывании инструментов, которые будут совместно использоваться несколькими ИИ-агентами, важно реализовать надежные политики и механизмы контроля разрешений для этих инструментов. Такие механизмы включают... | Техническая - кибербезопасность | Развертывание |
| AML.M0029 | Участие человека в действиях ИИ-агента Human In-the-Loop for AI Agent Actions | Системы должны требовать, чтобы пользователь или другой человек из числа заинтересованных сторон одобрял действия ИИ-агента до их выполнения агентом. В зависимости от сценария использования человеком, дающим... | Техническая - ИИ | Развертывание |
| AML.M0030 | Ограничение вызова инструментов ИИ-агента при работе с недоверенными данными Restrict AI Agent Tool Invocation on Untrusted Data | Недоверенные данные могут содержать промпт-инъекции, вызывающие инструменты ИИ-агента и потенциально приводящие к нарушениям конфиденциальности, целостности или доступности. Рекомендуется ограничивать или лимитировать... | Техническая - ИИ | Развертывание |
| AML.M0031 | Усиление защиты памяти Memory Hardening | Усиление защиты памяти обеспечивает защиту персистентного состояния, используемого ИИ-агентами, включая сохранённые предпочтения, записи эпизодической или семантической памяти, сводки диалогов, сохранённую историю... | Техническая - ИИ | Разработка AI-модели, Развертывание, Мониторинг и сопровождение |
| AML.M0032 | Сегментация компонентов ИИ-агента Segmentation of AI Agent Components | Определяйте границы безопасности вокруг агентных инструментов и источников данных с помощью таких методов, как доступ через API, изоляция контейнеров, изоляция выполнения кода в песочнице и ограничение частоты вызова... | Техническая - кибербезопасность | Понимание бизнес-задачи и данных, Развертывание |
| AML.M0033 | Валидация входных и выходных данных компонентов ИИ-агента Input and Output Validation for AI Agent Components | Реализуйте валидацию входных и выходных данных для инструментов и источников данных, используемых ИИ-агентами. Валидация включает принудительное применение общего формата данных, проверку схемы, проверки на утечку... | Техническая - ИИ | Понимание бизнес-задачи и данных, Подготовка данных, Развертывание |
| AML.M0034 | Обнаружение дипфейков Deepfake Detection | Применяйте алгоритмы обнаружения дипфейков к любым недоверенным или предоставленным пользователями данным, особенно в приложениях, где ошибки могут иметь существенные последствия, таких как биометрическая верификация,... | Техническая - ИИ | Разработка AI-модели, Оценка AI-модели, Развертывание, Мониторинг и сопровождение |
| AML.M0035 | Красная команда по ИИ AI Red Team | Создайте красную команду по ИИ, ответственную за проведение регулярных, санкционированных учений красной команды, основанных на данных об угрозах, для выявления и устранения уязвимостей в системах с поддержкой ИИ до... | Политика, Техническая - ИИ, Техническая - кибербезопасность | Понимание бизнес-задачи и данных, Подготовка данных, Разработка AI-модели, Оценка AI-модели, Развертывание, Мониторинг и сопровождение |
| AML.M0036 | Ограничение потребления ресурсов рабочими нагрузками ИИ Limit AI Workload Resource Consumption | Ограничивайте объём ресурсов, который может потреблять запрос к ИИ, задание инференса или рабочий процесс ИИ-агента. Устанавливайте ограничения на размер входных данных, размер батча, время выполнения, объём памяти,... | Техническая - ИИ | Развертывание, Мониторинг и сопровождение |