Выявление

Исследователи включили подробное логирование, раскрывающее внутреннюю логику работы ML-модели, особенно в части репутационного скоринга и ансамблирования моделей.

Исследователи обнаружили, что ProofPoint Email Protection оставляла выходные оценки модели в заголовках писем.

Команда определила список идентичностей, на которые была нацелена модель, отправляя запросы к API инференса целевой модели.

Исследователи просили ChatGPT предложить программные пакеты и выявляли среди рекомендаций галлюцинации — пакеты, которых нет в публичном репозитории. Например, на вопрос "how to upload a model to huggingface?" модель предложила установить пакет `huggingface-cli` командой `pip install huggingface-cli`. Такого пакета в PyPI не существовало; реальный CLI-инструмент Hugging Face входит в пакет `huggingface_hub`.

Исследуя ответы Copilot, исследователи выявили специальные разделители и маркеры, например `**`, `**END**`, `Actual Snippet:` и `[^1^]`. Эти строки используются как служебные признаки для отделения разных частей промпта Copilot друг от друга.

Исследуя ответы Copilot, исследователи выявили плагины и конкретные функции, к которым Copilot имеет доступ. Среди них были функция `search_enterprise` и объект `EmailMessage`.

Исследователь мог искать ИИ-модели в среде организации-жертвы.

Исследователи обнаружили 1 453 уникальные ИИ-модели, встроенные в приватные контейнерные образы. Около половины из них были в формате Open Neural Network Exchange (ONNX).

Злоумышленники использовали keychecker, чтобы выяснить, какие LLM-сервисы включены в облачной среде и есть ли для этих сервисов квоты ресурсов. Затем злоумышленники проверили, дают ли украденные учетные данные доступ к LLM-ресурсам. Они использовали легитимные запросы `invokeModel` с недопустимым значением -1 для параметра `max_tokens_to_sample`: если учетные данные не давали нужного доступа для вызова модели, такой запрос вызывал ошибку `AccessDenied`. Проверка показала, что украденные учетные данные действительно предоставляли доступ к LLM-ресурсам. Злоумышленники также использовали `GetModelInvocationLoggingConfiguration`, чтобы понять, как настроена модель. Это позволяло им определить, включено ли логирование промптов, и избегать обнаружения при выполнении промптов.

Злоумышленник получил список всех процессов, запущенных на машине жертвы, и выявил среди них процессы десктопных LLM-приложений.

Исследователи обнаруживают, что ИИ-агент имеет доступ к источнику данных «Customer Support Account Owners.csv».

Исследователи делают вывод, что у ИИ-агента есть инструмент для отправки писем.