AIKatz: атака на десктопные LLM-приложения
Оригинал: AIKatz: Attacking LLM Desktop Applications
Исследователи Lumia показали, что из памяти десктопных LLM-приложений можно извлечь токены аутентификации. Затем злоумышленник может использовать эти токены, чтобы выдавать себя за жертву перед backend-сервисом LLM, получая доступ к ее диалогам и возможность вмешиваться в будущие диалоги. Такой доступ позволяет злоумышленнику напрямую внедрять промпты для изменения поведения LLM, отравлять контекст LLM с устойчивым эффектом, манипулировать историей диалогов пользователя для сокрытия следов и в конечном счете влиять на конфиденциальность, целостность и доступность системы. Исследователи продемонстрировали атаку на Anthropic Claude, Microsoft M365 Copilot и OpenAI ChatGPT.
Ответы поставщиков на ответственное раскрытие:
- Anthropic (HackerOne) — закрыто со статусом «информационное», поскольку атака является локальной.
- Microsoft Security Response Center — атака не обходит границы безопасности, необходимые для присвоения CVE.
- OpenAI (BugCrowd) — закрыто со статусом «информационное»; также отмечено, что исправление этого поведения находится на стороне Microsoft.
Процедура
- AML.TA0004 Первичный доступ
AML.T0012 Действующие учетные записи
Для выполнения этой атаки злоумышленнику требовался первичный доступ к системе жертвы. - AML.TA0008 Выявление
AML.T0089 Выявление процессов
Злоумышленник получил список всех процессов, запущенных на машине жертвы, и выявил среди них процессы десктопных LLM-приложений. - AML.TA0013 Доступ к учетным данным
AML.T0090 Дамп учетных данных ОС
Злоумышленник подключался к процессу или читал память напрямую из/procв Linux либо открывал handle к процессу LLM-приложения в Windows. Затем он сканировал память процесса, чтобы извлечь токен аутентификации жертвы. Это можно легко сделать, применив регулярное выражение к каждой выделенной странице памяти процесса. - AML.TA0015 Латеральное перемещение
AML.T0091.000 Токен доступа к приложению
Злоумышленник использовал извлеченный токен, чтобы аутентифицироваться в backend-сервисе LLM. - AML.TA0000 Доступ к ИИ-модели
AML.T0047 Продукт или сервис с поддержкой ИИ
После этого злоумышленник получил доступ, необходимый для взаимодействия с backend-сервисом LLM так, будто он является десктопным клиентом. Это давало ему доступ ко всем действиям, которые пользователь может выполнять через десктопное приложение. - AML.TA0005 Выполнение
AML.T0051.000 Прямая промпт-инъекция
Злоумышленник отправлял вредоносные промпты напрямую в LLM в рамках любой текущей переписки жертвы. - AML.TA0006 Закрепление
AML.T0080.001 Цепочка сообщений
Злоумышленник мог создавать вредоносные промпты, манипулирующие контекстом цепочки сообщений; этот эффект сохранялся бы до конца такой цепочки. - AML.TA0006 Закрепление
AML.T0080.000 Память
Затем злоумышленник мог создавать вредоносные промпты, манипулирующие памятью LLM для достижения устойчивого эффекта. Любое изменение в памяти также распространялось бы на новые цепочки сообщений. - AML.TA0007 Уклонение от защиты
AML.T0092 Изменение истории чата пользователя с LLM
Многие десктопные LLM-приложения не показывают внедренный промпт в уже открытых чатах, поскольку обновляют историю чата только один раз при первом открытии. Это давало злоумышленнику возможность скрывать следы, напрямую изменяя историю диалогов пользователя через API LLM. Злоумышленник также мог перезаписывать или удалять сообщения, чтобы его действия не были обнаружены. - AML.TA0011 Воздействие
AML.T0048.000 Финансовый ущерб
Злоумышленник мог отправлять спам-сообщения, выдавая себя за жертву. На тарифах с оплатой за токены или действия это могло увеличить финансовую нагрузку на жертву. - AML.TA0011 Воздействие
AML.T0048.003 Ущерб пользователям
Злоумышленник мог получить доступ ко всей активности жертвы при работе с LLM, включая прошлые и текущие чаты, а также любые загруженные файлы или содержимое. - AML.TA0011 Воздействие
AML.T0029 Отказ в обслуживании ИИ-сервиса
Злоумышленник мог удалить все чаты жертвы, а также чаты, которые она открывает, тем самым лишив жертву возможности взаимодействовать с LLM. - AML.TA0011 Воздействие
AML.T0029 Отказ в обслуживании ИИ-сервиса
Злоумышленник мог массово отправлять сообщения или промпты, чтобы исчерпать лимиты частоты запросов LLM, предназначенные для защиты от ботов, и добиться полной блокировки жертвы.