Изменение истории чата пользователя с LLM
Оригинал: Manipulate User LLM Chat History
Злоумышленники могут изменять историю чата пользователя с большой языковой моделью (LLM), чтобы скрыть следы своего вредоносного поведения. Они могут скрывать устойчивые изменения, внесенные в поведение LLM, или маскировать попытки выявить приватную информацию о пользователе.
Для этого злоумышленники могут удалять или редактировать существующие сообщения либо создавать новые ветки чата, чтобы скрыть следы. Это возможно, если у злоумышленника есть токены аутентификации жертвы для backend-сервиса LLM или прямой доступ к чат-интерфейсу жертвы.
Чат-интерфейсы, особенно десктопные, часто не показывают внедренный промпт для уже открытого чата, поскольку обновляют историю чата только один раз при его первоначальном открытии. Это может помочь изменениям злоумышленника остаться незамеченными жертвой.
Тактики
Примеры процедур из кейсов
Многие десктопные LLM-приложения не показывают внедренный промпт в уже открытых чатах, поскольку обновляют историю чата только один раз при первом открытии. Это давало злоумышленнику возможность скрывать следы, напрямую изменяя историю диалогов пользователя через API LLM. Злоумышленник также мог перезаписывать или удалять сообщения, чтобы его действия не были обнаружены.
AML.CS0048Публично доступные интерфейсы управления ClawdBot позволили получить учетные данные и выполнить командыИсследователь мог бы использовать найденные ключи API Anthropic, чтобы манипулировать историей чата ClawdBot с пользователем, включая удаление или изменение сообщений.