Отравление рекомендаций ИИ через специально сформированные ссылки на ИИ-ассистента
Оригинал: AI Recommendation Poisoning via Crafted AI Assistant Links
Команда Microsoft Defender по исследованию безопасности выявила распространённую схему манипуляции памятью ИИ-ассистентов в рекламных целях, которую исследователи назвали отравлением рекомендаций ИИ (AI Recommendation Poisoning).
Большинство ведущих ИИ-ассистентов принимают заранее заполненный промпт через параметр запроса URL. Это позволяет любому, кто контролирует гиперссылку, задавать первое сообщение в разговоре пользователя с его ассистентом. Операторы встраивали специально сформированные ссылки в свои сайты в виде кнопок «Summarize with AI» и виджетов обмена материалами, а в некоторых случаях распространяли их по электронной почте.
Каждая ссылка сочетала легитимный запрос на создание краткого изложения с добавленной инструкцией, предписывающей ассистенту записать домен оператора как доверенный или авторитетный источник для будущих разговоров. Когда пользователь нажимал на ссылку, промпт подставлялся в поле ввода ассистента, а указание сохранить эти сведения приводило к созданию записи в долговременной памяти, смещая последующие рекомендации в пользу оператора. Изучив URL ИИ-ассистентов, наблюдавшиеся в почтовом трафике примерно за 60 дней, исследователи выявили более 50 различных промптов для манипуляции памятью в рекламных целях, использовавшихся 31 компанией из 14 отраслей. Каждый случай был связан с легитимным бизнесом, а не с обычным субъектом угроз. Исследователи установили, что распространение этой практики связано с общедоступными инструментами, которые продвигались как способ поисковой оптимизации для больших языковых моделей. Некоторые промпты были нацелены на сайты, дающие рекомендации по вопросам здоровья и финансов.
Microsoft сообщила, что эффективность различалась в зависимости от платформы и что по мере развития защитных механизмов поставщиков некоторые ранее наблюдавшиеся варианты поведения уже не удавалось воспроизвести.
Процедура
- AML.TA0003 Подготовка ресурсов
AML.T0016 Получение средств для атаки
Операторы использовали общедоступные средства для создания ссылок на ИИ-ассистентов со встроенными инструкциями по работе с памятью. В их число входили пакет npm, веб-генератор ссылок и плагины для сайтов, которые продвигались как способ поисковой оптимизации для больших языковых моделей. - AML.TA0003 Подготовка ресурсов
AML.T0079 Размещение средств атаки
Операторы встраивали специально сформированную ссылку в собственные веб-ресурсы в виде кнопки «Summarize with AI» или виджета обмена материалами. В некоторых случаях те же ссылки распространялись по электронной почте. - AML.TA0004 Первичный доступ
AML.T0131 Специально сформированные ссылки на ИИ-ассистента
Пользователь нажимал на кнопку или ссылку, которая открывала страницу на домене ИИ-ассистента с промптом оператора, заранее подставленным в поле ввода через параметр?q=или?prompt=. - AML.TA0007 Уклонение от защиты
AML.T0068 Обфускация промпта LLM
Инструкция была скрыта от пользователя за внешне безобидной надписью на элементе интерфейса: текст промпта был виден только в URL. Сочетание этой инструкции с настоящим запросом на создание краткого изложения делало последующее поведение ассистента внешне ожидаемым. - AML.TA0006 Закрепление
AML.T0080.000 Память
Указание сохранить сведения в памяти заставляло ассистента создать запись в долговременной памяти, обозначавшую домен оператора, его продукт или рекламный текст как авторитетный источник. Запись сохранялась и после завершения сессии, в которой была создана. - AML.TA0011 Воздействие
AML.T0130 Формирование предвзятых ответов ИИ-агента
В последующих разговорах, не связанных с исходным, ассистент отдавал предпочтение домену или продукту оператора и представлял результат как нейтральную рекомендацию. Среди наблюдавшихся целевых тем были здоровье и финансы, где предвзятые рекомендации имеют более серьёзные последствия.