Червь Morris II: атака на основе RAG
Оригинал: Morris II Worm: RAG-Based Attack
Исследователи разработали Morris II, zero-click-червя, предназначенного для атак на экосистемы генеративного ИИ (GenAI) и распространения между связанными GenAI-системами. Червь использует состязательный самореплицирующийся промпт, который с помощью промпт-инъекции воспроизводит промпт в выходных данных и выполняет вредоносные действия.
Исследователи демонстрируют, как этот червь может распространяться через почтовую систему с RAG-ассистентом. Они используют целевую систему, которая автоматически обрабатывает полученные письма, извлекает прошлые переписки и генерирует ответ для пользователя. Для выполнения атаки они отправляют вредоносное письмо, содержащее состязательный самореплицирующийся промпт, который попадает в RAG-базу данных. Вредоносные инструкции в промпте предписывают ассистенту включить чувствительные данные пользователя в ответ. Будущие запросы к почтовому ассистенту могут извлечь вредоносное письмо. Это приводит к распространению червя за счет самореплицирующейся части промпта, а также к утечке приватной информации из-за вредоносных инструкций.
Процедура
- AML.TA0000 Доступ к ИИ-модели
AML.T0040 Доступ к API инференса ИИ-модели
Исследователи используют доступ к публичному API GenAI-модели, на которой работает целевая почтовая система с RAG. - AML.TA0005 Выполнение
AML.T0051.000 Прямая промпт-инъекция
Исследователи тестируют промпты через публичные API моделей, чтобы найти работающие промпт-инъекции. - AML.TA0005 Выполнение
AML.T0053 Вызов инструментов ИИ-агента
Исследователи отправляют на адрес в целевой почтовой системе письмо с состязательным самореплицирующимся промптом, или «ИИ-червем».
GenAI-почтовый ассистент автоматически обрабатывает это письмо в рамках обычной генерации предлагаемого ответа.
Письмо сохраняется в базе данных для RAG (генерации, дополненной извлечением), что компрометирует RAG-систему.
- AML.TA0005 Выполнение
AML.T0051.002 Триггерная промпт-инъекция
Когда почтовый ассистент извлекает письмо с червем при очередной генерации ответа, промпт-инъекция меняет поведение GenAI-почтового ассистента. - AML.TA0006 Закрепление
AML.T0061 Саморепликация промпта LLM
Самореплицирующаяся часть промпта заставляет сгенерированный ответ содержать вредоносный промпт, благодаря чему червь может распространяться дальше. - AML.TA0010 Эксфильтрация
AML.T0057 Утечка данных из LLM
Вредоносные инструкции в промпте заставляют сгенерированный ответ раскрывать чувствительные данные, например электронные письма, адреса и номера телефонов. - AML.TA0011 Воздействие
AML.T0048.003 Ущерб пользователям
Персональные данные пользователей GenAI-почтового ассистента могут утечь к злоумышленникам.