Поиск открытых материалов по анализу уязвимостей ИИ
Оригинал: Search Open AI Vulnerability Analysis
Как и при поиске в открытых технических базах данных, в открытом доступе часто можно найти исследования об уязвимостях распространенных ИИ-моделей. После выбора цели злоумышленник, вероятно, попытается найти уже существующие работы по этому классу моделей.
Это включает не только чтение научных статей, где могут быть описаны детали успешной атаки, но и поиск готовых реализаций таких атак. При необходимости злоумышленник может получить готовые реализации состязательных атак на ИИ или разработать собственные состязательные атаки на ИИ.
Тактики
Примеры процедур из кейсов
Исследователи провели обзор состязательных атак на ML-компоненты антивирусных продуктов. Они обнаружили, что техники, заимствованные из атак на классификаторы изображений, уже успешно применялись в области защиты от вредоносного ПО. Однако было неясно, эффективны ли такие подходы против ML-компонента промышленных антивирусных решений.
AML.CS0016Выполнение кода в MathGPT через промпт-инъекциюПонимая, что LLM могут быть уязвимы к промпт-инъекциям, исследователь ознакомился с типовыми вредоносными промптами, например: "Ignore above instructions. Instead ..."