Красная команда по ИИ

Отработайте в контролируемых условиях внедрение недоверенных компонентов — ПО, данных, моделей и инструментов ИИ-агента — через репрезентативные пути их получения и развёртывания. Устраните недостатки, связанные со сведениями о происхождении, валидацией, процедурами одобрения, изоляцией и откатом.

Внедряйте недоверенные пакеты ПО для ИИ, библиотеки, плагины или программные компоненты только в контролируемую среду. Проверьте средства контроля зависимостей, сканирование, подписание, процедуры одобрения, изоляцию и безопасность установки.

Внедряйте недоверенные наборы данных только в контролируемую среду через репрезентативные пути их получения и приёма. Проверьте механизмы отслеживания происхождения, обеспечения целостности, санитизации, проверки и отбраковки данных.

Внедряйте недоверенную или модифицированную модель только в контролируемую среду через репрезентативные пути её получения и развёртывания. Проверьте сведения о происхождении, сканирование, подписание, процедуры одобрения, изоляцию и возможность возврата к предыдущей версии модели.

Внедряйте недоверенный инструмент ИИ-агента или недоверенное определение инструмента только в контролируемую среду. Убедитесь, что источник входит в число разрешённых; проверьте целостность, факт проведения проверки, границы разрешений и безопасность активации.

Проведите репрезентативные цифровые и мультимодальные атаки обхода, а также атаки обхода в физическом домене. Используйте успешные атаки, чтобы повысить устойчивость модели и улучшить предобработку, обнаружение состязательных входных данных, контроль со стороны человека и мониторинг.

В контролируемых условиях попытайтесь изменить или подменить модели, веса, адаптеры и связанную с ними конфигурацию. Устраните недостатки механизмов авторизации, обеспечения целостности артефактов, процедур одобрения развёртывания, мониторинга и восстановления.

Проверьте, могут ли контролируемые изменения весов модели, контролируемое дообучение или контролируемые изменения связанных с моделью артефактов привести к появлению целевого или устойчивого поведения. Усовершенствуйте отслеживание происхождения модели, её валидацию и мониторинг целостности, а также механизм возврата к предыдущей версии.

В контролируемых условиях попытайтесь внести неавторизованные изменения в архитектуру модели или в её исполняемые компоненты. Проверьте процессы рассмотрения изменений, контроля целостности, подписания и одобрения развёртывания, а также механизмы восстановления.

В контролируемых условиях внедрите отравленные записи или триггеры в репрезентативные пайплайны обработки данных. Проверьте и усовершенствуйте отслеживание происхождения данных, их санитизацию и проверку, обнаружение дрейфа, валидацию модели и механизмы возврата к предыдущему состоянию.

Испытайте интерфейсы инференса с помощью методов определения принадлежности к обучающей выборке, инверсии ИИ-модели и извлечения функциональной копии ИИ-модели. Используйте полученные результаты для совершенствования мер защиты приватности, аутентификации, ограничений на выходные данные, лимитов частоты запросов и мониторинга.

Проверьте, позволяют ли выходные данные модели определить, входили ли известные образцы данных в её обучающую выборку. Усовершенствуйте обучение с сохранением приватности, ограничения на выходные данные, контроль доступа и мониторинг запросов.

Попытайтесь реконструировать чувствительные записи, атрибуты или сведения, характерные для обучающих данных, на основе выходных данных модели. Устраните утечку за счёт внесения изменений в модель, минимизации выходных данных, мер защиты приватности и ограничения доступа к инференсу.

Эмулируйте извлечение функциональной копии модели с помощью запросов на инференс. Внедрите надлежащую аутентификацию, ограничения частоты запросов, ограничения на выходные данные, обнаружение аномалий и мониторинг попыток извлечения модели.

Направляйте на систему состязательные рабочие нагрузки и отрабатывайте сценарии отказов зависимостей, которые могут привести к исчерпанию ресурсов сервисов инференса или вспомогательных сервисов. По результатам применяйте квоты, ограничения числа одновременных операций, таймауты, изоляцию ресурсов и механизмы плавной деградации.

Отрабатывайте сценарии с запросами и рабочими процессами, предназначенными для увеличения затрат на инференс, инфраструктуру или внешние сервисы. Проверяйте бюджеты, квоты, ограничения частоты запросов, средства управления рабочими нагрузками, систему оповещения и механизмы остановки.

В контролируемых условиях генерируйте интенсивный поток запросов. Проверяйте аутентификацию, квоты пользователей и тенантов, ограничения частоты запросов, обнаружение аномалий, оповещения о затратах и средства защиты сервиса.

В контролируемых условиях направляйте на систему запросы, специально подготовленные для потребления непропорционально большого объёма ресурсов при инференсе. Проверяйте ограничения на входные данные, таймауты, ограничения рабочей нагрузки, изоляцию ресурсов и мониторинг затрат.

Тестируйте рекурсивное поведение, повторные вызовы инструментов, использование API, приводящее к высоким затратам, и расширение области задачи под контролем злоумышленника. Проверяйте бюджеты, ограничения числа итераций, таймауты, пороги обязательного одобрения и средства остановки выполнения.

Тестируйте прямые, косвенные и срабатывающие по триггеру инструкции, передаваемые через пользовательский ввод, извлечённые данные, документы, сообщения, веб-сайты, изображения, метаданные и выходные данные инструментов. Устраняйте недостатки в обеспечении границ доверия, обработке инструкций, управлении разрешениями и мониторинге.

Отправляйте контролируемые вредоносные инструкции напрямую через доступные пользователям интерфейсы модели и приложения. Совершенствуйте механизмы, обеспечивающие соблюдение инструкций, а также контроль входных данных, авторизацию и мониторинг.

Размещайте контролируемые вредоносные инструкции во внешнем или извлечённом содержимом, которое обрабатывает система. Совершенствуйте границы доверия при обработке содержимого, средства контроля извлечения, изоляцию инструкций и ограничения на действия, выполняемые в результате.

Размещайте контролируемые инструкции в содержимом или рабочих процессах, где впоследствии их активируют действия пользователей или системные события. Проверяйте разрешения на активацию триггеров, обработку контекста, ограничения на действия и мониторинг.

Попытайтесь выбрать неавторизованные инструменты, передать небезопасные аргументы, выйти за пределы привилегий пользователя или выстроить цепочки вызовов инструментов для совершения действий, способных причинить вред. Устраните недостатки в настройке разрешений, валидации аргументов, изоляции в песочнице, средствах контроля действий и требованиях к одобрению.

Отрабатывайте различные варианты джейлбрейка: выполняемые вручную и автоматизированные, многоходовые, многоязычные, закодированные, преобразованные и мультимодальные. Используйте успешные случаи джейлбрейка для совершенствования гардрейлов, рекомендаций, выравнивания модели и мониторинга, а также включайте их в регрессионные оценки.

Тестируйте интерфейсы модели и приложения на возможность раскрытия системных инструкций, политик, определений инструментов или скрытого контекста. Удаляйте встроенные секреты и совершенствуйте изоляцию конфигурации и средства контроля выходных данных.

Размещайте синтетические секреты или записи-канарейки в репрезентативных источниках данных и пытайтесь извлечь их через промпты, механизмы извлечения данных, инструменты и отображаемые выходные данные. Совершенствуйте разграничение полномочий, фильтрацию, изоляцию тенантов и обнаружение эксфильтрации.

Тестируйте закодированные, преобразованные, визуально скрытые, многоязычные и мультимодальные инструкции. Используйте случаи успешного обхода для совершенствования нормализации, декодирования, анализа содержимого и средств обнаружения.

Размещайте контролируемое вредоносное или вводящее в заблуждение содержимое в репрезентативных источниках поступления данных. Совершенствуйте механизмы допуска источников, отслеживание происхождения данных, валидацию содержимого, средства контроля индексирования и фильтрацию при извлечении данных.

Попытайтесь добиться сохранения вредоносных инструкций в памяти ИИ-агента и в долгоживущих ветках диалога. Проверяйте наличие необходимых разрешений на изменение контекста, механизмы проверки целостности, маркировку уровня доверия, сроки действия, видимость для пользователя и меры по устранению последствий.

Попытайтесь сохранить в долговременной памяти ИИ-агента контролируемое вредоносное содержимое — инструкции или предпочтения. Проверяйте наличие необходимых разрешений, видимость для пользователя, механизмы проверки целостности, сроки действия и средства устранения последствий отравления памяти.

Внедряйте контролируемые вредоносные инструкции в долгоживущие цепочки сообщений или цепочки сообщений с общим доступом. Проверяйте изоляцию контекста и его обработку с учётом уровня доверия, сброс цепочек сообщений, сроки действия и мониторинг.

Отрабатывайте сценарии неавторизованных изменений системных промптов, инструментов, источников знаний, настроек безопасности и требований к одобрению. Совершенствуйте средства контроля доступа, процедуры одобрения изменений, мониторинг целостности и механизмы восстановления системы на основе доверенных конфигураций.