Манипуляция доверенными компонентами ответа LLM
Оригинал: LLM Trusted Output Components Manipulation
Злоумышленники могут использовать промпты к большой языковой модели (LLM), которые манипулируют различными компонентами ее ответа, чтобы он выглядел заслуживающим доверия для пользователя. Это помогает злоумышленнику продолжать действовать в среде жертвы и избегать обнаружения пользователями, с которыми он взаимодействует.
LLM может быть проинструктирована адаптировать формулировки ответа так, чтобы он выглядел для пользователя более заслуживающим доверия, или попытаться склонить пользователя к определенным действиям. К другим компонентам ответа, которыми можно манипулировать, относятся ссылки, рекомендуемые последующие действия, метаданные извлеченных документов и ссылки на источники.
Тактики
Подтехники
Примеры процедур из кейсов
Промпт предписывал ИИ-ассистенту для программирования не упоминать изменения кода в ответах, чтобы не вызывать подозрений у жертвы и не оставлять следов в журналах ассистента. Это позволяет вредоносному файлу правил скрытно распространяться по кодовой базе без следов в истории или журналах, которые могли бы помочь командам безопасности обнаружить проблему.
AML.CS0059EchoLeak: промпт-инъекция нулевого клика против M365 Copilot для эксфильтрации данныхВывод был изменен так, чтобы избежать очевидной атрибуции и использовать ссылки или изображения Markdown в справочном стиле, обходившие сокрытие ссылок.