Атаки на Gemini с помощью промптов в приглашениях Google Calendar
Оригинал: Prompt-Based Attacks Against Gemini via Calendar Invitations
Исследователи SafeBreach продемонстрировали, как подконтрольные злоумышленнику инструкции, встроенные в содержимое сервисов для продуктивной работы, включая приглашения Google Calendar, электронные письма и файлы с общим доступом, могли влиять на поведение ассистентов на базе Gemini при последующем извлечении этого содержимого.
Злоумышленник размещает вредоносные инструкции в содержимом, которое, вероятно, будет извлечено в ответ на будущий запрос жертвы. Когда Gemini включает подконтрольное злоумышленнику содержимое в контекст диалога, инструкции могут повлиять на поведение модели и заставить её непредусмотренным образом использовать инструменты и подключённые сервисы, доступные в рамках полномочий жертвы.
Продемонстрированные пути атаки имеют общую цепочку: злоумышленник отправляет отравленное приглашение в Calendar; жертва спрашивает Gemini о предстоящих событиях; Gemini извлекает вредоносный заголовок события и добавляет его в контекст диалога; последующий ответ жертвы (например, “Thanks”) активирует встроенные инструкции. Атака была продемонстрирована как в веб-приложении Gemini, так и в приложении Gemini для Android. Веб-приложение могло получать доступ к сервисам Workspace, тогда как приложение для Android предоставляло доступ к дополнительным функциям устройства и систем умного дома. Было показано, что та же цепочка может приводить к нескольким последствиям:
Генерация токсичного контента или выбранных злоумышленником рекламных материалов в ответах Gemini.
Удаление или создание событий Calendar с использованием прав доступа жертвы к Calendar.
Управление подключёнными устройствами Google Home, включая окна, бойлеры и освещение.
Открытие подконтрольного злоумышленнику веб-сайта, которое инициирует скачивание и раскрывает IP-адрес жертвы для определения её примерного местоположения.
Запуск приложения Zoom на устройстве жертвы и передача видеопотока в подконтрольную злоумышленнику конференцию.
Извлечение данных Calendar или Gmail, их кодирование в URL, подконтрольном злоумышленнику, и передача через запрос браузера.
Процедура
- AML.TA0002 Разведка
AML.T0006 Активное сканирование
Исследователи напрямую тестировали интерфейсы Gemini, чтобы понять, как система выбирает и задействует агентов. - AML.TA0008 Выявление
AML.T0084 Выявление конфигурации ИИ-агента
Исследователи выявили, какие агенты, инструменты и подключённые сервисы были доступны, включая Calendar, Gmail, Google Home, Android Utilities, Chrome и Zoom. - AML.TA0003 Подготовка ресурсов
AML.T0065 Создание промптов для LLM
Исследователи подготовили вредоносные инструкции с учётом поведения Gemini при извлечении данных, агентов Gemini и доступных разрешений на использование инструментов. - AML.TA0004 Первичный доступ
AML.T0093 Внедрение промпта через публичное приложение
Исследователи отправили отравленное приглашение Calendar или электронное письмо с вредоносными инструкциями в заголовке приглашения или теме письма. - AML.TA0005 Выполнение
AML.T0051.001 Косвенная промпт-инъекция
Когда жертва попросила Gemini суммаризировать события Calendar или электронные письма, Gemini извлёк подконтрольное злоумышленнику содержимое и включил его в свой контекст. - AML.TA0006 Закрепление
AML.T0080.001 Цепочка сообщений
Внедрённые инструкции оставались в контексте диалога — в том числе инструкции из содержимого Calendar, скрытого за элементом интерфейса ‘Show more’, — чтобы влиять на последующие ходы диалога. - AML.TA0007 Уклонение от защиты
AML.T0094 Отложенное выполнение инструкций LLM
Вредоносные инструкции откладывали выполнение действия до последующего взаимодействия жертвы с Gemini, обходя ограничения, действовавшие в исходном ходе диалога, когда содержимое было извлечено. - AML.TA0005 Выполнение
AML.T0051.002 Триггерная промпт-инъекция
Последующий ответ жертвы, например “Thanks”, активировал сохранённые инструкции. - AML.TA0007 Уклонение от защиты
AML.T0054 Джейлбрейк LLM
Вредоносный промпт заставил Gemini следовать ролевому сценарию и указаниям по переопределению инструкций и вместо обычного ответа выдавать выбранное злоумышленником содержимое: токсичный контент или рекламные материалы. - AML.TA0011 Воздействие
AML.T0048.003 Ущерб пользователям
Gemini выдавал жертве контент, способный причинить вред, или многократно показывал рекламные материалы, выбранные злоумышленником. - AML.TA0012 Повышение привилегий
AML.T0053 Вызов инструментов ИИ-агента
Вредоносный промпт заставил Gemini использовать права доступа жертвы к Calendar для вызова инструментов Google Calendar и изменения данных Calendar. - AML.TA0011 Воздействие
AML.T0101 Уничтожение данных через вызов инструмента ИИ-агента
Gemini удалил событие жертвы в Calendar. - AML.TA0012 Повышение привилегий
AML.T0053 Вызов инструментов ИИ-агента
Вредоносный промпт заставил Gemini задействовать Google Home через авторизованное подключение жертвы для управления подключёнными окнами, бойлером или освещением. - AML.TA0011 Воздействие
AML.T0048.003 Ущерб пользователям
Физическая среда жертвы была изменена, что могло создать угрозу её безопасности и приватности, а также причинить имущественный или финансовый ущерб. - AML.TA0012 Повышение привилегий
AML.T0053 Вызов инструментов ИИ-агента
Вредоносный промпт заставил Gemini использовать Android Utilities, чтобы открыть подконтрольный злоумышленнику URL в браузере жертвы и инициировать скачивание. - AML.TA0010 Эксфильтрация
AML.T0025 Эксфильтрация киберсредствами
Подконтрольный злоумышленнику веб-сайт получил IP-адрес источника — устройства жертвы, что позволило приблизительно определить местоположение устройства. - AML.TA0012 Повышение привилегий
AML.T0053 Вызов инструментов ИИ-агента
Вредоносный промпт заставил Gemini использовать Android Utilities и ссылку на приложение или цепочку перенаправлений, чтобы запустить Zoom. - AML.TA0011 Воздействие
AML.T0048.003 Ущерб пользователям
Неавторизованная трансляция видео нарушила приватность жертвы. - AML.TA0009 Сбор материалов
AML.T0085.001 Инструменты ИИ-агента
Вредоносный промпт заставил Gemini с помощью подключённых инструментов ИИ-агента извлечь заголовки событий Calendar или темы писем Gmail и поместить полученные данные в URL, подконтрольные злоумышленнику. - AML.TA0010 Эксфильтрация
AML.T0086 Эксфильтрация через вызов инструмента ИИ-агента
Gemini открыл сформированный URL с помощью Android Utilities, тем самым передав на подконтрольный злоумышленнику сервер данные жертвы из Calendar или электронной почты.