Доступ к API инференса ИИ-модели

Оригинал: AI Model Inference API Access

Злоумышленники могут получить доступ к модели через легитимный доступ к API инференса. Доступ к API инференса может быть для злоумышленника источником информации (выявление онтологии ИИ-модели, выявление семейства ИИ-модели), средством подготовки атаки (проверка атаки, создание состязательных данных) или способом передать данные в целевую систему для воздействия (уклонение от ИИ-модели, нарушение целостности ИИ-модели).

Многие системы полагаются на одни и те же модели, доступные через API инференса, поэтому они наследуют общие уязвимости. Это особенно характерно для фундаментальных моделей, обучение которых требует запретительно больших ресурсов. Злоумышленники могут использовать доступ к API моделей, чтобы выявлять уязвимости, например джейлбрейки или галлюцинации, а затем атаковать приложения, использующие те же модели.

Тактики

AML.TA0000Доступ к ИИ-модели

Меры защиты

AML.M0019Контроль доступа к ИИ-моделям и данным в продакшене

Злоумышленники могут использовать неограниченный доступ к API, чтобы получить сведения о продакшен-системе, подготовить атаки и внедрить в систему вредоносные данные.

AML.M0024Логирование телеметрии ИИ

Логирование телеметрии может помогать аудировать использование API модели.

Примеры процедур из кейсов

AML.CS0005Атака на сервисы машинного переводаАктор: Berkeley Artificial Intelligence Research / Тактика: AML.TA0000 Доступ к ИИ-модели

Исследователи использовали публично доступное приложение не по назначению: отправляли запросы к модели и получали машинно переведенные пары предложений в качестве обучающих данных.

AML.CS0010Нарушение работы сервиса Microsoft AzureАктор: Microsoft AI Red Team / Тактика: AML.TA0000 Доступ к ИИ-модели

Команда использовала открытый API для доступа к целевой модели.

AML.CS0011Обход ИИ на периферии MicrosoftАктор: Azure Red Team / Тактика: AML.TA0000 Доступ к ИИ-модели

Используя общедоступную версию ML-модели, команда начала отправлять запросы и анализировать ответы, то есть результаты инференса модели.

AML.CS0012Обход системы идентификации лиц с помощью физических контрмерАктор: MITRE AI Red Team / Тактика: AML.TA0000 Доступ к ИИ-модели

Команда получила доступ к API инференса целевой модели.

AML.CS0022Галлюцинация пакетов ChatGPTАктор: Vulcan Cyber, Lasso Security / Тактика: AML.TA0000 Доступ к ИИ-модели

На протяжении упражнения исследователи использовали публичный API ChatGPT.

AML.CS0024Червь Morris II: атака на основе RAGАктор: Stav Cohen, Ron Bitton, Ben Nassi / Тактика: AML.TA0000 Доступ к ИИ-модели

Исследователи используют доступ к публичному API GenAI-модели, на которой работает целевая почтовая система с RAG.

AML.CS0056Кампании по дистилляции моделей, нацеленные на Anthropic ClaudeАктор: DeepSeek, Moonshot AI, MiniMax / Тактика: AML.TA0000 Доступ к ИИ-модели

ИИ-лаборатории обращались к API инференса Claude через примерно 24 000 поддельных учетных записей в совокупности.

AML.CS0057Storm-2139: обход защитных ограничений Azure OpenAIАктор: Storm-2139 / Тактика: AML.TA0000 Доступ к ИИ-модели

Похищенные учетные данные давали доступ к Azure OpenAI Service, позволяя злоумышленникам и их клиентам отправлять промпты и генерировать контент. Инструмент Storm-2139 de3u использовался как фронтенд для этого доступа.