Логирование телеметрии ИИ

Оригинал: AI Telemetry Logging

Реализуйте логирование входных и выходных данных развернутых ИИ-моделей. При развертывании ИИ-агентов реализуйте логирование промежуточных шагов агентных действий и решений, доступа к данным и использования инструментов, команд установки, а также сведений об идентичности агента. Мониторинг логов может помогать обнаруживать угрозы безопасности и снижать их последствия.

Кроме того, включенное логирование может удерживать злоумышленников, которые хотят оставаться незамеченными, от использования ИИ-ресурсов.

Связанные техники

AML.T0005.001Обучение прокси-модели через репликацию

Логирование телеметрии может помочь выявить эксфильтрацию обучающего набора данных для прокси-модели.

AML.T0024Эксфильтрация через API инференса ИИ

Логирование телеметрии может помочь выявить эксфильтрацию чувствительных данных.

AML.T0024.000Определение принадлежности к обучающей выборке

Логирование телеметрии может помочь выявить эксфильтрацию чувствительных данных.

AML.T0024.001Инверсия ИИ-модели

Логирование телеметрии может помочь выявить эксфильтрацию чувствительных данных.

AML.T0024.002Извлечение ИИ-модели

Логирование телеметрии может помочь выявить эксфильтрацию чувствительных данных.

AML.T0040Доступ к API инференса ИИ-модели

Логирование телеметрии может помогать аудировать использование API модели.

AML.T0047Продукт или сервис с поддержкой ИИ

Логирование телеметрии может помочь выявить отправку чувствительной информации о модели злоумышленнику.

AML.T0051Промпт-инъекция в LLM

Логирование телеметрии может помочь выявить отправку небезопасных промптов в LLM.

AML.T0051.000Прямая промпт-инъекция

Логирование телеметрии может помочь выявить отправку небезопасных промптов в LLM.

AML.T0051.001Косвенная промпт-инъекция

Логирование телеметрии может помочь выявить отправку небезопасных промптов в LLM.

AML.T0051.002Триггерная промпт-инъекция

Логирование телеметрии может помочь выявить отправку небезопасных промптов в LLM.

AML.T0053Вызов инструментов ИИ-агента

Логируйте вызовы инструментов ИИ-агента для обнаружения вредоносных вызовов.

AML.T0085Данные из ИИ-сервисов

Логируйте запросы к ИИ-сервисам для обнаружения вредоносных запросов к данным.

AML.T0085.000Базы данных RAG

Логируйте запросы к ИИ-сервисам для обнаружения вредоносных запросов к данным.

AML.T0085.001Инструменты ИИ-агента

Логируйте запросы к ИИ-сервисам для обнаружения вредоносных запросов к данным.

AML.T0086Эксфильтрация через вызов инструмента ИИ-агента

Логируйте вызовы инструментов ИИ-агента для обнаружения вредоносных вызовов.

AML.T0101Уничтожение данных через вызов инструмента ИИ-агента

Логируйте вызовы инструментов ИИ-агента для обнаружения вредоносных вызовов.

AML.T0114Веб-интерфейс ИИ-сервиса

Логирование телеметрии ИИ помогает выявлять подозрительные промпты, взаимодействия с ИИ-сервисами через браузер, запросы на получение URL и ответы ИИ, используемые для передачи данных командования и управления.