Поиск в открытых технических базах данных

Оригинал: Search Open Technical Databases

Злоумышленники могут искать общедоступные исследования и техническую документацию, чтобы понять, как и где ИИ используется в организации-жертве. Эти сведения могут помочь злоумышленнику выбрать цели для атаки или адаптировать существующую атаку, чтобы сделать ее эффективнее. Организации часто используют в продакшене модели на базе открытых архитектур, дообученные на дополнительных собственных данных. Знание базовой архитектуры позволяет злоумышленнику создавать более реалистичные прокси-модели (Создать прокси-модель ИИ). Злоумышленник может искать в этих источниках публикации авторов, работающих в организации-жертве.

Исследовательские и технические материалы могут существовать как научные статьи, опубликованные в журналах и материалах конференций, размещенные в репозиториях препринтов, а также как технические блоги.

Тактики

Подтехники

Меры защиты

Примеры процедур из кейсов

AML.CS0001Обход обнаружения DGA-доменов ботнетовАктор: Palo Alto Networks AI Research Team / Тактика: AML.TA0002 Разведка

Обнаружение DGA широко используется для выявления ботнетов в академической среде и индустрии. Исследовательская группа искала научные публикации, связанные с обнаружением DGA.

AML.CS0003Обход ИИ-детектора вредоносного ПО CylanceАктор: Skylight Cyber / Тактика: AML.TA0002 Разведка

Исследователи изучили публично доступную информацию об ИИ-детекторе вредоносного ПО Cylance. Они собирали эти сведения из разных источников, включая публичные выступления и патентные заявки Cylance.

AML.CS0005Атака на сервисы машинного переводаАктор: Berkeley Artificial Intelligence Research / Тактика: AML.TA0002 Разведка

Исследователи использовали опубликованные научные статьи, чтобы определить наборы данных и архитектуры моделей, применявшиеся целевыми сервисами машинного перевода.

AML.CS0007Репликация модели GPT-2Актор: Researchers at Brown University / Тактика: AML.TA0002 Разведка

Используя публичную документацию по GPT-2, исследователи собрали сведения о наборе данных, архитектуре модели и гиперпараметрах обучения.

AML.CS0010Нарушение работы сервиса Microsoft AzureАктор: Microsoft AI Red Team / Тактика: AML.TA0002 Разведка

Команда сначала провела разведку, чтобы собрать сведения о целевой ML-модели.

AML.CS0011Обход ИИ на периферии MicrosoftАктор: Azure Red Team / Тактика: AML.TA0002 Разведка

Команда сначала провела разведку, чтобы собрать сведения о целевой ML-модели.

AML.CS0012Обход системы идентификации лиц с помощью физических контрмерАктор: MITRE AI Red Team / Тактика: AML.TA0002 Разведка

Команда сначала провела разведку, чтобы собрать сведения о целевой ML-модели.

AML.CS0048Публично доступные интерфейсы управления ClawdBot позволили получить учетные данные и выполнить командыАктор: Jamieson O'Reilly / Тактика: AML.TA0002 Разведка

Исследователь искал цели в Shodan по заголовку веб-интерфейса управления ClawdBot — `Clawdbot Control` — и обнаружил сотни интерфейсов ClawdBot, открытых в публичном интернете.