Выявление галлюцинированных сущностей LLM

Оригинал: Discover LLM Hallucinations

Злоумышленники могут отправлять запросы большим языковым моделям и выявлять галлюцинированные сущности.

Они могут запрашивать программные пакеты, команды, URL-адреса, названия организаций или адреса электронной почты и находить галлюцинации, за которыми не стоит реальный источник. Обнаруженные галлюцинированные сущности дают злоумышленнику потенциальные цели для публикации галлюцинированных сущностей. Было показано, что разные LLM могут выдавать одни и те же галлюцинации, поэтому сущности, найденные и эксплуатируемые злоумышленником, могут затрагивать пользователей других LLM.

Тактики

AML.TA0008Выявление

Меры защиты

AML.M0004Ограничение количества запросов к ИИ-модели

Ограничение количества запросов к модели ограничивает или замедляет способность злоумышленника выявлять возможные галлюцинации.

AML.M0020Защитные ограничения (Guardrails) для генеративного ИИ

Защитные ограничения могут помогать блокировать галлюцинированный контент в выходных данных модели.

AML.M0021Правила и инструкции для генеративного ИИ

Инструкции могут указывать модели избегать генерации галлюцинированного контента.

AML.M0022Выравнивание модели генеративного ИИ

Выравнивание модели может помогать уводить модель от галлюцинированного контента.

Примеры процедур из кейсов

AML.CS0022Галлюцинация пакетов ChatGPTАктор: Vulcan Cyber, Lasso Security / Тактика: AML.TA0008 Выявление

Исследователи просили ChatGPT предложить программные пакеты и выявляли среди рекомендаций галлюцинации — пакеты, которых нет в публичном репозитории. Например, на вопрос "how to upload a model to huggingface?" модель предложила установить пакет `huggingface-cli` командой `pip install huggingface-cli`. Такого пакета в PyPI не существовало; реальный CLI-инструмент Hugging Face входит в пакет `huggingface_hub`.