Внедрение промпта через публичное приложение
Оригинал: Prompt Infiltration via Public-Facing Application
Злоумышленник может внедрять вредоносные промпты в систему жертвы через публично доступное приложение, рассчитывая, что в будущем они будут обработаны ИИ и в итоге окажут последующее воздействие. Это может происходить, когда источник данных индексируется системой RAG (генерации, дополненной извлечением), когда правило запускает действие ИИ-агента или когда пользователь использует большую языковую модель (LLM) для взаимодействия с вредоносным содержимым. Вредоносные промпты могут сохраняться в системе жертвы длительное время и влиять на нескольких пользователей и разные ИИ-инструменты внутри организации-жертвы.
Целью может стать любое публично доступное приложение, принимающее текстовый ввод. Сюда входят электронная почта, системы совместной работы с документами, такие как OneDrive или Google Drive, и сервис-дески или тикет-системы, такие как Jira. Также сюда относится внедрение через OCR, когда вредоносные инструкции встроены в изображения, скриншоты и счета, которые попадают в систему.
Злоумышленники могут выполнять разведку, чтобы выявить публично доступные приложения, которые, вероятно, отслеживаются ИИ-агентом или индексируются RAG. Они могут выполнять выявление конфигурации ИИ-агента, чтобы уточнить выбор целей.
Тактики
Примеры процедур из кейсов
Это показало, что исследователь может использовать уязвимость к промпт-инъекции в модели GPT-3, применяемой в MathGPT, как вектор первичного доступа.
AML.CS0026Перехват финансовой транзакции с использованием M365 Copilot в роли инсайдераИсследователи отправили пользователю в организации-жертве письмо с вредоносным пейлоадом, используя знание о том, что все полученные письма попадают в RAG-базу Copilot.
AML.CS0029Эксфильтрация разговоров Google BardИсследователь делится с целевым пользователем Google Doc, содержащим вредоносный промпт. В атаке используется то, что расширения Bard позволяют Bard обращаться к документам пользователя.
AML.CS0037Эксфильтрация данных через инструменты ИИ-агента в Copilot StudioИсследователи отправляют письмо с вредоносным промптом в почтовый ящик, который, по их предположению, может управляться ИИ-агентом.
AML.CS0038Внедрение инструкций для отложенного автоматического вызова инструмента ИИ-агентаИсследователь включил вредоносный промпт в тело длинного письма, отправленного жертве.
AML.CS0039Living Off AI: промпт-инъекция через Jira Service ManagementИсследователи создали новое обращение с вредоносным промптом на публичном портале Jira Service Management (JSM) жертвы, выявленном во время разведки.
AML.CS0040Взлом памяти ChatGPT с помощью промпт-инъекцииК Google Doc был предоставлен общий доступ для жертвы, что сделало документ доступным для ChatGPT через функцию Connected App.
AML.CS0040Взлом памяти ChatGPT с помощью промпт-инъекцииПромпт-инъекция для отравления памяти сохраняется в общем Google Doc, откуда она может распространяться на других пользователей и сессии чата. Это затрудняет отслеживание источников воспоминаний и их удаление.
AML.CS0046Уничтожение данных через косвенную промпт-инъекцию, нацеленную на Claude Computer UseИсследователи встроили вредоносный промпт в PDF-документ. Такой документ мог попасть в систему жертвы через публично доступное приложение, например электронную почту или общее хранилище документов.
AML.CS0059EchoLeak: промпт-инъекция нулевого клика против M365 Copilot для эксфильтрации данныхИсследователи отправили письмо в почтовый ящик пользователя Microsoft 365.
AML.CS0060Межсайтовый скриптинг (XSS) через манипуляцию промптом в ИИ-чат-боте LenovoИсследователи внедрили подконтрольный злоумышленнику HTML в рабочий процесс поддержки Lenovo, отправив промпт Lena через публичный чат-интерфейс. В результате сгенерированная нагрузка была сохранена в истории чата для последующего отображения.