Storm-2139: обход защитных ограничений Azure OpenAI
Оригинал: Storm-2139 Azure OpenAI Guardrail Bypass
Storm-2139 создала собственный инструментарий для джейлбрейка, чтобы обходить защитные ограничения Azure OpenAI Services, что позволяло пользователям генерировать синтетический контент, способный причинить вред.
Microsoft сообщила, что участники Storm-2139 собирали из публичных источников оказавшиеся в открытом доступе учетные данные клиентов и использовали их для доступа к учетным записям сервисов генеративного ИИ. Группа разрабатывала и эксплуатировала инструменты и сервисы, которые обходили защитные механизмы, изменяли возможности сервисов и позволяли конечным пользователям генерировать контент, способный причинить вред или нарушающий закон, включая интимные изображения знаменитостей без их согласия и другой сексуально откровенный контент.
Операция включала создателей, которые разрабатывали незаконные инструменты, поставщиков, которые модифицировали и предоставляли эти инструменты, и пользователей, которые генерировали запрещенный контент. Microsoft подала гражданский иск.
Процедура
- AML.TA0003 Подготовка ресурсов
AML.T0017 Разработка средств для атаки
Создатели Storm-2139 разработали инструмент под названием de3u, чтобы упростить несанкционированное использование сервисов генеративного ИИ и обход защитных механизмов. - AML.TA0003 Подготовка ресурсов
AML.T0008 Получение инфраструктуры
Storm-2139 приобрела инфраструктуру для поддержки сервиса, который продавал доступ к Azure OpenAI Service с обходом защитных ограничений. - AML.TA0003 Подготовка ресурсов
AML.T0079 Размещение средств атаки
Storm-2139 подготовила и эксплуатировала сервис обратного прокси, чтобы другие злоумышленники могли взаимодействовать с неправомерно используемыми сервисами генеративного ИИ. - AML.TA0004 Первичный доступ
AML.T0012 Действующие учетные записи
Storm-2139 использовала оказавшиеся в открытом доступе учетные данные клиентов, собранные из публичных источников, для доступа к действительным учетным записям сервисов генеративного ИИ. - AML.TA0000 Доступ к ИИ-модели
AML.T0040 Доступ к API инференса ИИ-модели
Похищенные учетные данные давали доступ к Azure OpenAI Service, позволяя злоумышленникам и их клиентам отправлять промпты и генерировать контент. Инструмент Storm-2139 de3u использовался как фронтенд для этого доступа. - AML.TA0007 Уклонение от защиты
AML.T0054 Джейлбрейк LLM
Storm-2139 намеренно обходила защитные механизмы и фильтры контента Azure OpenAI Service, чтобы генерировать запрещенные результаты. Microsoft сообщила, что злоумышленники итеративно дорабатывали заблокированные промпты, подставляли описания знаменитостей и использовали измененные формулировки или техническую нотацию для обхода фильтров. - AML.TA0001 Подготовка атаки на ИИ
AML.T0088 Создание дипфейков
Конечные пользователи генерировали синтетические изображения с противоправным содержанием, включая интимные изображения знаменитостей без их согласия, а также другой сексуально откровенный, мизогинный, насильственный или разжигающий ненависть контент. - AML.TA0011 Воздействие
AML.T0048.002 Общественный вред
Сгенерированные изображения с противоправным содержанием могли причинить прямой вред изображенным на них людям. - AML.TA0011 Воздействие
AML.T0048.000 Финансовый ущерб
Пользователи, чьи учетные записи были скомпрометированы, понесли финансовый ущерб.