Триггерная промпт-инъекция
Оригинал: Triggered
Злоумышленник может запускать промпт-инъекцию через действие пользователя или событие, происходящее в среде жертвы. Триггерные промпт-инъекции часто нацелены на ИИ-агентов, которые могут активироваться способами, выявленными злоумышленником на этапе выявления (см. триггеры активации).
Такие вредоносные промпты могут быть скрыты или обфусцированы от пользователя и уже находиться где-то в среде жертвы после выполнения злоумышленником техники инфильтрации промпта через публично доступное приложение. Этот тип инъекции может использоваться злоумышленником для закрепления в системе или для атаки на неосведомленного пользователя системы.
Тактики
Родительская техника
Другие подтехники родителя
Меры защиты
Логирование телеметрии может помочь выявить отправку небезопасных промптов в LLM.
AML.M0033Валидация входных и выходных данных компонентов ИИ-агентаВалидация может помешать злоумышленникам выполнять промпт-инъекции, способные повлиять на агентные рабочие процессы.
Примеры процедур из кейсов
Когда почтовый ассистент извлекает письмо с червем при очередной генерации ответа, промпт-инъекция меняет поведение GenAI-почтового ассистента.
AML.CS0037Эксфильтрация данных через инструменты ИИ-агента в Copilot StudioИсследователи получают ответ на указанный ими адрес, что указывает на наличие ИИ-агента и успешное срабатывание триггерной промпт-инъекции.
AML.CS0059EchoLeak: промпт-инъекция нулевого клика против M365 Copilot для эксфильтрации данныхКогда позднее пользователь вызвал Copilot, тот извлек вредоносное письмо в свой контекст, что привело к срабатыванию промпт-инъекции.