AIKatz: атака на десктопные LLM-приложения
Оригинал: AIKatz: Attacking LLM Desktop Applications
Исследователи Lumia показали, что из памяти десктопных LLM-приложений можно извлечь токены аутентификации. Затем злоумышленник может использовать эти токены, чтобы выдавать себя за жертву при взаимодействии с серверной частью LLM-сервиса, получая тем самым доступ к её диалогам и возможность вмешиваться в будущие диалоги. Полученный доступ позволил бы злоумышленнику напрямую внедрять промпты для изменения поведения LLM, отравлять контекст LLM так, чтобы эффект сохранялся, манипулировать историей диалогов пользователя для сокрытия своих следов и в конечном счёте нарушать конфиденциальность, целостность и доступность системы. Исследователи продемонстрировали эту атаку на Anthropic Claude, Microsoft M365 Copilot и OpenAI ChatGPT.
Ответы поставщиков в рамках ответственного раскрытия информации:
- Anthropic (HackerOne) — сообщение закрыто как информационное, поскольку атака является локальной.
- Microsoft Security Response Center — сообщение не соответствует критериям присвоения CVE, поскольку атака не преодолевает границы безопасности.
- OpenAI (BugCrowd) — сообщение закрыто как информационное; также отмечено, что исправить это поведение должна Microsoft.
Процедура
- AML.TA0004 Первичный доступ
AML.T0012 Действующие учетные записи
Для выполнения этой атаки злоумышленнику требовался первичный доступ к системе жертвы. - AML.TA0008 Выявление
AML.T0089 Выявление процессов
Злоумышленник получил список всех процессов, запущенных на машине жертвы, и выявил среди них процессы десктопных LLM-приложений. - AML.TA0013 Доступ к учетным данным
AML.T0090 Дамп учетных данных ОС
Злоумышленник подключался к процессу или читал память напрямую из/procв Linux либо открывал handle к процессу LLM-приложения в Windows. Затем он сканировал память процесса, чтобы извлечь токен аутентификации жертвы. Это можно легко сделать, применив регулярное выражение к каждой выделенной странице памяти процесса. - AML.TA0015 Латеральное перемещение
AML.T0091.000 Токен доступа к приложению
Злоумышленник использовал извлеченный токен, чтобы аутентифицироваться в backend-сервисе LLM. - AML.TA0000 Доступ к ИИ-модели
AML.T0047 Продукт или сервис с поддержкой ИИ
После этого злоумышленник получил доступ, необходимый для взаимодействия с backend-сервисом LLM так, будто он является десктопным клиентом. Это давало ему доступ ко всем действиям, которые пользователь может выполнять через десктопное приложение. - AML.TA0005 Выполнение
AML.T0051.000 Прямая промпт-инъекция
Злоумышленник отправлял вредоносные промпты напрямую в LLM в рамках любой текущей переписки жертвы. - AML.TA0006 Закрепление
AML.T0080.001 Цепочка сообщений
Злоумышленник мог создавать вредоносные промпты, манипулирующие контекстом цепочки сообщений; этот эффект сохранялся бы до конца такой цепочки. - AML.TA0006 Закрепление
AML.T0080.000 Память
Затем злоумышленник мог создавать вредоносные промпты, манипулирующие памятью LLM для достижения устойчивого эффекта. Любое изменение в памяти также распространялось бы на новые цепочки сообщений. - AML.TA0007 Уклонение от защиты
AML.T0092 Изменение истории чата пользователя с LLM
Многие десктопные LLM-приложения не показывают внедренный промпт в уже открытых чатах, поскольку обновляют историю чата только один раз при первом открытии. Это давало злоумышленнику возможность скрывать следы, напрямую изменяя историю диалогов пользователя через API LLM. Злоумышленник также мог перезаписывать или удалять сообщения, чтобы его действия не были обнаружены. - AML.TA0011 Воздействие
AML.T0048.000 Финансовый ущерб
Злоумышленник мог отправлять спам-сообщения, выдавая себя за жертву. На тарифах с оплатой за токены или действия это могло увеличить финансовую нагрузку на жертву. - AML.TA0011 Воздействие
AML.T0048.003 Ущерб пользователям
Злоумышленник мог получить доступ ко всей активности жертвы при работе с LLM, включая прошлые и текущие чаты, а также любые загруженные файлы или содержимое. - AML.TA0011 Воздействие
AML.T0029 Отказ в обслуживании ИИ-сервиса
Злоумышленник мог удалить все чаты жертвы, а также чаты, которые она открывает, тем самым лишив жертву возможности взаимодействовать с LLM. - AML.TA0011 Воздействие
AML.T0029 Отказ в обслуживании ИИ-сервиса
Злоумышленник мог массово отправлять сообщения или промпты, чтобы исчерпать лимиты частоты запросов LLM, предназначенные для защиты от ботов, и добиться полной блокировки жертвы.