Утечка данных из LLM

Оригинал: LLM Data Leakage

Злоумышленники могут создавать промпты, которые заставляют LLM раскрывать чувствительную информацию.

К такой информации могут относиться приватные данные пользователей или проприетарная информация.

Утекшие данные могут поступать из проприетарных обучающих данных, источников данных, к которым подключена LLM, или из информации других пользователей LLM.

Тактики

AML.TA0010Эксфильтрация

Меры защиты

AML.M0008Валидация ИИ-модели

Тщательная оценка ИИ-модели может использоваться для выявления рисков для конфиденциальности, утечек данных и возможности раскрытия чувствительной информации.

AML.M0020Защитные ограничения (Guardrails) для генеративного ИИ

Защитные ограничения могут обнаруживать чувствительные данные и персональные данные в выходных данных модели.

AML.M0021Правила и инструкции для генеративного ИИ

Инструкции для модели могут предписывать ей отказываться отвечать на небезопасные входные данные.

AML.M0022Выравнивание модели генеративного ИИ

Выравнивание модели может повысить параметрическую безопасность модели, уводя ее от небезопасных промптов и ответов.

Примеры процедур из кейсов

AML.CS0024Червь Morris II: атака на основе RAGАктор: Stav Cohen, Ron Bitton, Ben Nassi / Тактика: AML.TA0010 Эксфильтрация

Вредоносные инструкции в промпте заставляют сгенерированный ответ раскрывать чувствительные данные, например электронные письма, адреса и номера телефонов.