Эксфильтрация разговоров Google Bard
Оригинал: Google Bard Conversation Exfiltration
Embrace the Red продемонстрировали, что разговоры пользователей Bard могут быть эксфильтрованы через косвенную промпт-инъекцию. Для выполнения атаки субъект угрозы делится с целевым пользователем Google Doc, содержащим промпт, после чего пользователь взаимодействует с документом через Bard и непреднамеренно выполняет этот промпт. Промпт заставляет Bard ответить Markdown-разметкой для изображения, в URL которого скрытно встроен разговор пользователя. Bard отображает изображение пользователю, создавая автоматический запрос к скрипту под контролем злоумышленника и эксфильтруя разговор пользователя. Запрос не блокируется Content Security Policy (CSP) Google, поскольку скрипт размещен как Google Apps Script на домене, принадлежащем Google.
Примечание: Google исправила эту уязвимость. CSP остается прежней, и Bard по-прежнему может отображать изображения пользователю, поэтому, возможно, выполняется фильтрация данных, встроенных в URL.
Процедура
- AML.TA0003 Подготовка ресурсов
AML.T0065 Создание промптов для LLM
Исследователь разработал промпт, из-за которого Bard включает в ответ Markdown-элемент изображения с разговором пользователя, встроенным в URL. - AML.TA0003 Подготовка ресурсов
AML.T0008 Получение инфраструктуры
Исследователь установил, что Google Apps Script можно вызвать через URL наscript.google.comилиgoogleusercontent.comи настроить так, чтобы аутентификация не требовалась. Это позволяет вызвать скрипт без срабатывания Content Security Policy Bard. - AML.TA0003 Подготовка ресурсов
AML.T0017 Разработка средств для атаки
Исследователь написал Google Apps Script, который записывает все параметры запроса в Google Doc. - AML.TA0004 Первичный доступ
AML.T0093 Внедрение промпта через публичное приложение
Исследователь делится с целевым пользователем Google Doc, содержащим вредоносный промпт. В атаке используется то, что расширения Bard позволяют Bard обращаться к документам пользователя. - AML.TA0005 Выполнение
AML.T0051.001 Косвенная промпт-инъекция
Когда пользователь отправляет запрос, приводящий к извлечению документа, встроенный промпт выполняется. Вредоносный промпт заставляет Bard ответить Markdown-разметкой изображения, URL которого указывает на Google Apps Script исследователя и содержит разговор пользователя в параметре запроса. - AML.TA0010 Эксфильтрация
AML.T0077 Рендеринг ответа LLM
Bard автоматически отображает Markdown-разметку, отправляя запрос к Google Apps Script и тем самым эксфильтруя разговор пользователя. Content Security Policy Bard разрешает такой запрос, потому что URL размещен на домене, принадлежащем Google. - AML.TA0011 Воздействие
AML.T0048.003 Ущерб пользователям
Разговор пользователя эксфильтруется, что нарушает его конфиденциальность и может позволить проводить дальнейшие целевые атаки.