Данные из ИИ-сервисов

Оригинал: Data from AI Services

Злоумышленники могут использовать свой доступ к ИИ-сервисам организации-жертвы для сбора проприетарной или иной чувствительной информации. По мере того как организации внедряют генеративный ИИ в централизованные сервисы для доступа к данным организации, например чат-агентов, которые могут обращаться к базам данных для RAG (генерации, дополненной извлечением) и другим источникам данных через инструменты, такие сервисы становятся все более ценными целями для злоумышленников.

ИИ-агенты могут быть настроены с доступом к инструментам и источникам данных, которые недоступны пользователям напрямую. Злоумышленники могут злоупотреблять этим для сбора данных, к которым обычный пользователь не смог бы получить прямой доступ.

Тактики

AML.TA0009Сбор материалов

Подтехники

AML.T0085.000Базы данных RAGПодтехника AML.T0085.001Инструменты ИИ-агентаПодтехника

Меры защиты

AML.M0024Логирование телеметрии ИИ

Логируйте запросы к ИИ-сервисам для обнаружения вредоносных запросов к данным.

AML.M0026Настройка разрешений привилегированного ИИ-агента

Надлежащий контроль доступа для привилегированных ИИ-агентов может ограничить способность злоумышленника собирать данные из ИИ-сервисов при компрометации агента.

AML.M0027Настройка разрешений ИИ-агента одного пользователя

Настройка ИИ-агентов с разрешениями, унаследованными от пользователя, может ограничить способность злоумышленника собирать данные из ИИ-сервисов при компрометации агента.

AML.M0028Настройка разрешений инструментов ИИ-агента

Настройка инструментов ИИ-агента с контролем доступа, унаследованным от пользователя или вызывающего их ИИ-агента, может ограничить доступ злоумышленника к чувствительным данным.

AML.M0032Сегментация компонентов ИИ-агента

Сегментация может помешать злоумышленникам использовать инструменты в агентном рабочем процессе для сбора чувствительных данных из ИИ-сервисов.