Меры защиты
Меры защиты описывают практики, процессы и классы технологий, которые снижают вероятность успешного применения техник ATLAS или уменьшают последствия атаки.
| ID | Название | Описание | ||
|---|---|---|---|---|
| AML.M0000 | Ограничение публичного раскрытия информации Limit Public Release of Information | Ограничьте публичное раскрытие технической информации об ИИ-стеке, используемом в продуктах или сервисах организации. Технические сведения о том, как используется ИИ, могут быть использованы злоумышленниками для... | Политика | Понимание бизнес-задачи и данных |
| AML.M0001 | Ограничение публикации артефактов модели Limit Model Artifact Release | Ограничьте публичное раскрытие технических деталей проекта, включая данные, алгоритмы, архитектуры моделей и контрольные точки моделей, которые используются в продакшене или репрезентативны для тех, что используются в... | Политика | Понимание бизнес-задачи и данных, Развертывание |
| AML.M0002 | Пассивная обфускация выходных данных ИИ Passive AI Output Obfuscation | Снижение точности и детализации выходных данных модели, предоставляемых конечному пользователю, может уменьшить способность злоумышленника извлекать информацию о модели и оптимизировать атаки против нее. | Техническая - ИИ | Оценка AI-модели, Развертывание |
| AML.M0003 | Усиление устойчивости модели Model Hardening | Используйте техники, повышающие устойчивость ИИ-моделей к состязательным входным данным, такие как состязательное обучение или дистилляция сети. | Техническая - ИИ | Подготовка данных, Разработка AI-модели |
| AML.M0004 | Ограничение количества запросов к ИИ-модели Restrict Number of AI Model Queries | Ограничьте общее количество и частоту запросов, которые может выполнять пользователь. | Техническая - кибербезопасность | Понимание бизнес-задачи и данных, Развертывание, Мониторинг и сопровождение |
| AML.M0005 | Контроль доступа к ИИ-моделям и хранимым данным Control Access to AI Models and Data at Rest | Настройте контроль доступа к внутренним реестрам моделей и ограничьте внутренний доступ к моделям, используемым в продакшене. Ограничьте доступ к обучающим данным только для авторизованных пользователей. | Политика | Понимание бизнес-задачи и данных, Подготовка данных, Разработка AI-модели, Оценка AI-модели |
| AML.M0006 | Использование ансамблевых методов Use Ensemble Methods | Используйте ансамбль моделей для инференса, чтобы повысить устойчивость к состязательным входным данным. Некоторые атаки могут эффективно обходить одну модель или семейство моделей, но быть неэффективными против других. | Техническая - ИИ | Разработка AI-модели |
| AML.M0007 | Санитизация обучающих данных Sanitize Training Data | Выявляйте и удаляйте отравленные обучающие данные или устраняйте их влияние. Обучающие данные следует санитизировать перед обучением модели, а для модели с активным обучением — регулярно. Реализуйте фильтр для... | Техническая - ИИ | Понимание бизнес-задачи и данных, Подготовка данных, Мониторинг и сопровождение |
| AML.M0008 | Валидация ИИ-модели Validate AI Model | Проверяйте, что ИИ-модели работают как задумано: тестируйте их на наличие триггеров бэкдора, потенциальной утечки данных или состязательного воздействия. Отслеживайте концептуальный дрейф ИИ-модели и дрейф обучающих... | Техническая - ИИ | Оценка AI-модели, Мониторинг и сопровождение |
| AML.M0009 | Использование мультимодальных сенсоров Use Multi-Modal Sensors | Используйте несколько сенсоров, чтобы объединять разные перспективы и модальности и избежать единой точки отказа, уязвимой к физическим атакам. | Техническая - кибербезопасность | Понимание бизнес-задачи и данных, Подготовка данных, Разработка AI-модели |
| AML.M0010 | Восстановление входных данных Input Restoration | Предобрабатывайте все данные для инференса, чтобы нейтрализовать или обратить потенциальные состязательные искажения. | Техническая - ИИ | Подготовка данных, Оценка AI-модели, Развертывание, Мониторинг и сопровождение |
| AML.M0011 | Ограничение загрузки библиотек Restrict Library Loading | Предотвращайте злоупотребление механизмами загрузки библиотек в операционной системе и программном обеспечении для загрузки недоверенного кода: настраивайте соответствующие механизмы загрузки библиотек и проверяйте... | Техническая - кибербезопасность | Развертывание |
| AML.M0012 | Шифрование чувствительной информации Encrypt Sensitive Information | Шифруйте чувствительные данные, такие как ИИ-модели, чтобы защититься от злоумышленников, пытающихся получить доступ к чувствительным данным. | Техническая - кибербезопасность | Подготовка данных, Разработка AI-модели, Развертывание |
| AML.M0013 | Подписание кода Code Signing | Обеспечивайте целостность бинарных файлов и приложений с помощью проверки цифровой подписи, чтобы предотвратить выполнение недоверенного кода. Злоумышленники могут встраивать вредоносный код в ИИ-ПО или модели.... | Техническая - кибербезопасность | Развертывание |
| AML.M0014 | Проверка ИИ-артефактов Verify AI Artifacts | Проверяйте криптографическую контрольную сумму всех ИИ-артефактов, чтобы убедиться, что файл не был изменен злоумышленником. | Техническая - кибербезопасность | Понимание бизнес-задачи и данных, Подготовка данных, Разработка AI-модели |
| AML.M0015 | Обнаружение состязательных входных данных Adversarial Input Detection | Выявляйте и блокируйте состязательные входные данные или нетипичные запросы, которые отклоняются от известного безопасного поведения, демонстрируют паттерны поведения, наблюдавшиеся в предыдущих атаках, или поступают... | Техническая - ИИ | Подготовка данных, Разработка AI-модели, Оценка AI-модели, Развертывание, Мониторинг и сопровождение |
| AML.M0016 | Сканирование уязвимостей Vulnerability Scanning | Сканирование уязвимостей используется для поиска потенциально эксплуатируемых уязвимостей ПО и их устранения. Форматы файлов, такие как pickle-файлы, которые часто используются для хранения ИИ-моделей, могут содержать... | Техническая - кибербезопасность | Подготовка данных, Разработка AI-модели |
| AML.M0017 | Методы распространения ИИ-моделей AI Model Distribution Methods | Развертывание ИИ-моделей на периферийных устройствах может увеличить поверхность атаки системы. Рассмотрите возможность развертывать модели в облаке, чтобы снизить уровень доступа злоумышленника к модели. Также... | Политика | Развертывание |
| AML.M0018 | Обучение пользователей User Training | Обучайте разработчиков ИИ-моделей рискам цепочки поставок ИИ и распознаванию потенциально вредоносных ИИ-артефактов. Обучайте пользователей распознавать дипфейки и попытки фишинга. | Политика | Понимание бизнес-задачи и данных, Подготовка данных, Разработка AI-модели, Оценка AI-модели, Развертывание, Мониторинг и сопровождение |
| AML.M0019 | Контроль доступа к ИИ-моделям и данным в продакшене Control Access to AI Models and Data in Production | Требуйте от пользователей подтверждать свою личность перед доступом к продакшен-модели. Требуйте аутентификацию для API-эндпоинтов и отслеживайте запросы к продакшен-модели, чтобы контролировать соблюдение политик... | Политика | Развертывание, Мониторинг и сопровождение |
| AML.M0020 | Защитные ограничения (Guardrails) для генеративного ИИ Generative AI Guardrails | Защитные ограничения — это механизмы безопасности, размещаемые между пользователями, инструментами и моделями генеративного ИИ для оценки промптов, извлеченного контекста, выходных данных модели и действий агента до... | Техническая - ИИ | Разработка AI-модели, Оценка AI-модели, Развертывание, Мониторинг и сопровождение |
| AML.M0021 | Правила и инструкции для генеративного ИИ Generative AI Guidelines | Правила и инструкции для генеративного ИИ — это политики, поведенческие ограничения и указания, передаваемые модели генеративного ИИ, чтобы направлять ее к желаемым результатам и удерживать от небезопасного,... | Техническая - ИИ | Разработка AI-модели, Оценка AI-модели, Развертывание |
| AML.M0022 | Выравнивание модели генеративного ИИ Generative AI Model Alignment | При обучении или дообучении модели генеративного ИИ важно использовать техники, которые улучшают выравнивание модели с политиками безопасности и защищенности, а также контентными политиками. Процесс дообучения... | Техническая - ИИ | Разработка AI-модели, Оценка AI-модели, Развертывание |
| AML.M0023 | Ведомость материалов ИИ AI Bill of Materials | Ведомость материалов ИИ (AI BOM) содержит полный перечень артефактов и ресурсов, использованных при создании ИИ. AI BOM помогает снижать риски цепочки поставок и быстро реагировать на сообщения об уязвимостях. Это... | Политика | Понимание бизнес-задачи и данных, Подготовка данных, Разработка AI-модели |
| AML.M0024 | Логирование телеметрии ИИ AI Telemetry Logging | Реализуйте логирование входных и выходных данных развернутых ИИ-моделей. При развертывании ИИ-агентов реализуйте логирование промежуточных шагов агентных действий и решений, доступа к данным и использования... | Техническая - кибербезопасность | Развертывание, Мониторинг и сопровождение |
| AML.M0025 | Поддержание происхождения наборов данных ИИ Maintain AI Dataset Provenance | Поддерживайте подробную историю наборов данных, используемых в ИИ-приложениях. История должна включать сведения об источнике набора данных, а также полный журнал всех изменений. | Техническая - ИИ | Понимание бизнес-задачи и данных, Подготовка данных |
| AML.M0026 | Настройка разрешений привилегированного ИИ-агента Privileged AI Agent Permissions Configuration | ИИ-агентам могут предоставляться повышенные привилегии по сравнению с обычным пользователем, чтобы поддерживать нужные рабочие процессы. При развертывании привилегированного ИИ-агента или агента, взаимодействующего с... | Техническая - кибербезопасность | Развертывание |
| AML.M0027 | Настройка разрешений ИИ-агента одного пользователя Single-User AI Agent Permissions Configuration | При развертывании ИИ-агента, который действует как представитель пользователя и выполняет действия от его имени, важно реализовать надежные политики и механизмы контроля разрешений и управления жизненным циклом... | Техническая - кибербезопасность | Развертывание |
| AML.M0028 | Настройка разрешений инструментов ИИ-агента AI Agent Tools Permissions Configuration | При развертывании инструментов, которые будут совместно использоваться несколькими ИИ-агентами, важно реализовать надежные политики и механизмы контроля разрешений для этих инструментов. Такие механизмы включают... | Техническая - кибербезопасность | Развертывание |
| AML.M0029 | Участие человека в действиях ИИ-агента Human In-the-Loop for AI Agent Actions | Системы должны требовать, чтобы пользователь или другой человек из числа заинтересованных сторон одобрял действия ИИ-агента до их выполнения агентом. В зависимости от сценария использования человеком, дающим... | Техническая - ИИ | Развертывание |
| AML.M0030 | Ограничение вызова инструментов ИИ-агента при работе с недоверенными данными Restrict AI Agent Tool Invocation on Untrusted Data | Недоверенные данные могут содержать промпт-инъекции, вызывающие инструменты ИИ-агента и потенциально приводящие к нарушениям конфиденциальности, целостности или доступности. Рекомендуется ограничивать или лимитировать... | Техническая - ИИ | Развертывание |
| AML.M0031 | Усиление защиты памяти Memory Hardening | Усиление защиты памяти включает разработку границ доверия и безопасных процессов для того, как ИИ-агент хранит память и контекст и получает к ним доступ. Это может быть реализовано с помощью комбинации стратегий,... | Техническая - ИИ | Разработка AI-модели, Развертывание, Мониторинг и сопровождение |
| AML.M0032 | Сегментация компонентов ИИ-агента Segmentation of AI Agent Components | Определяйте границы безопасности вокруг агентных инструментов и источников данных с помощью таких методов, как доступ через API, изоляция контейнеров, изоляция выполнения кода в песочнице и ограничение частоты вызова... | Техническая - кибербезопасность | Понимание бизнес-задачи и данных, Развертывание |
| AML.M0033 | Валидация входных и выходных данных компонентов ИИ-агента Input and Output Validation for AI Agent Components | Реализуйте валидацию входных и выходных данных для инструментов и источников данных, используемых ИИ-агентами. Валидация включает принудительное применение общего формата данных, проверку схемы, проверки на утечку... | Техническая - ИИ | Понимание бизнес-задачи и данных, Подготовка данных, Развертывание |
| AML.M0034 | Обнаружение дипфейков Deepfake Detection | Применяйте алгоритмы обнаружения дипфейков к любым недоверенным или предоставленным пользователями данным, особенно в приложениях, где ошибки могут иметь существенные последствия, таких как биометрическая верификация,... | Техническая - ИИ | Разработка AI-модели, Оценка AI-модели, Развертывание, Мониторинг и сопровождение |