Угрозы косвенной промпт-инъекции: Bing Chat как похититель данных
Оригинал: Indirect Prompt Injection Threats: Bing Chat Data Pirate
При взаимодействии с новым LLM-чат-ботом Microsoft Bing Chat пользователь может разрешить Bing Chat просматривать открытые в данный момент сайты и получать к ним доступ на протяжении всей чат-сессии. Исследователи показали, что злоумышленник может разместить инъекцию на сайте, который посещает пользователь, и тем самым незаметно превратить Bing Chat в социального инженера, который ищет и эксфильтрует персональную информацию. Для выполнения этой атаки пользователю не нужно спрашивать о сайте или делать что-либо еще, кроме как взаимодействовать с Bing Chat, пока сайт открыт в браузере.
В представленной демонстрации пользователь открыл в Edge подготовленный вредоносный сайт, содержащий атаку косвенной промпт-инъекции; такая атака также могла бы находиться на сайте социальной сети. Сайт содержит промпт, который считывается Bing и меняет его поведение так, чтобы получить доступ к информации пользователя, которая затем может быть отправлена злоумышленнику.
Процедура
- AML.TA0003 Подготовка ресурсов
AML.T0017 Разработка средств для атаки
Злоумышленник создал сайт с вредоносными системными инструкциями для LLM, чтобы повлиять на поведение модели.
Эти инструкции считываются моделью, когда пользователь предоставляет Bing Chat доступ к открытой странице.
- AML.TA0007 Уклонение от защиты
AML.T0068 Обфускация промпта LLM
Вредоносные инструкции были скрыты за счет нулевого размера шрифта, что затрудняло их обнаружение человеком. - AML.TA0005 Выполнение
AML.T0051.001 Косвенная промпт-инъекция
Если пользователь разрешил Bing Chat просматривать открытые сайты, чат может видеть их содержимое.
Когда у пользователя открыт сайт злоумышленника, скрытая вредоносная инструкция попадает в Bing Chat и выполняется.
- AML.TA0004 Первичный доступ
AML.T0052.000 Целевой фишинг через LLM для социальной инженерии
Вредоносная инструкция заставляет Bing Chat перейти на «пиратскую» манеру общения и незаметно убеждать пользователя раскрыть персональные данные, например имя.
Затем она побуждает пользователя перейти по ссылке, в URL которой эти данные уже закодированы.
- AML.TA0011 Воздействие
AML.T0048.003 Ущерб пользователям
Получив персональные данные пользователя, злоумышленник мог использовать их для дальнейших атак, включая кражу личности или мошенничество.