Сбор учетных данных через RAG

Оригинал: RAG Credential Harvesting

Злоумышленники могут пытаться использовать свой доступ к большой языковой модели (LLM) в системе жертвы для сбора учетных данных. Учетные данные могут храниться во внутренних документах, которые могут непреднамеренно попасть в базу данных RAG, откуда в конечном итоге их может извлечь ИИ-агент.

Тактики

AML.TA0013Доступ к учетным данным

Меры защиты

AML.M0026Настройка разрешений привилегированного ИИ-агента

Надлежащий контроль доступа для привилегированных ИИ-агентов может ограничить способность злоумышленника собирать учетные данные из баз данных RAG при компрометации агента.

AML.M0027Настройка разрешений ИИ-агента одного пользователя

Настройка ИИ-агентов с разрешениями, унаследованными от пользователя, может ограничить способность злоумышленника собирать учетные данные из баз данных RAG при компрометации агента.

Примеры процедур из кейсов

AML.CS0035Эксфильтрация данных из Slack AI через косвенную промпт-инъекциюАктор: PromptArmor / Тактика: AML.TA0013 Доступ к учетным данным

Поскольку Slack AI имеет доступ к приватным каналам пользователя-жертвы, он извлекает API-ключ жертвы.