Продукт или сервис с поддержкой ИИ

Исследователи имели доступ к ПО Cylance для обнаружения вредоносного ПО с поддержкой ИИ.

Злоумышленники использовали приложение виртуальной камеры, чтобы передать сгенерированное видео в сервис распознавания лиц на основе машинного обучения, применявшийся для проверки пользователей.

Исследователи отправили через систему множество писем, чтобы собрать выходные данные модели из заголовков.

Злоумышленники могли взаимодействовать с Tay через сообщения в Twitter.

На протяжении кейса исследователи использовали доступ к целевому антивирусному продукту на основе ML. Продукт сканирует файлы на системе пользователя, локально извлекает признаки, а затем отправляет их в облачный ML-детектор вредоносного ПО для классификации. Поэтому у исследователей был только доступ к самому детектору в режиме чёрного ящика, но из экстрактора признаков они могли получить ценную информацию для построения атаки.

Исследователь смог взаимодействовать с базовой моделью GPT-3 через приложение MathGPT. MathGPT использует GPT-3 для генерации Python-кода, решающего математические задачи, описанные пользовательскими промптами, и показывает пользователю сгенерированный код вместе с решением. Изучение встроенных и пользовательских промптов, а также их результатов привело исследователя к предположению, что приложение напрямую выполняет код, сгенерированный GPT-3.

Мужчина подал заявки на пособие по безработице в California Employment Development Department, используя поддельные личности, и в процессе взаимодействовал с системой проверки личности ID.me. Система извлекает данные из фотографии документа, проверяет подлинность документа с помощью сочетания ИИ и проприетарных методов, а затем выполняет распознавание лица, сопоставляя фотографию в документе с селфи. ^{[[7]](https://network.id.me/wp-content/uploads/Document-Verification-Use-Machine-Vision-and-AI-to-Extract-Content-and-Verify-the-Authenticity-1.pdf)} Мужчина установил, что California Employment Development Department использует сторонний сервис ID.me для проверки личности заявителей. На сайте ID.me описаны шаги проверки личности, включая ввод персональных данных, загрузку водительского удостоверения и отправку селфи.

Во время разработки и выполнения атаки на систему жертвы исследователи Zenity взаимодействовали с Microsoft Copilot for M365.

Во время проверки личности приложение финансового сервиса использует распознавание лица и проверку присутствия живого человека для анализа видео с камеры пользователя в реальном времени.

Во время проверки личности приложение финансового сервиса использовало распознавание лица и проверку присутствия живого человека для анализа видео с камеры пользователя в реальном времени.

Исследователь взаимодействует со Slack AI, отправляя сообщения в публичные каналы Slack.

После этого злоумышленник получил доступ, необходимый для взаимодействия с backend-сервисом LLM так, будто он является десктопным клиентом. Это давало ему доступ ко всем действиям, которые пользователь может выполнять через десктопное приложение.

Далее исследователи повторяют те же шаги для взаимодействия с ИИ-агентом: отправляют агенту вредоносные промпты по электронной почте и получают ответы на нужный им адрес.

Исследователи использовали публичный веб-чат с агентом клиентской поддержки Lenovo «Lena».

Предполагая наличие предварительного доступа, исследователи использовали собственный имплант на C++ со встроенным браузером или компонентом WebView для взаимодействия с Grok или Microsoft Copilot через публичный веб-интерфейс, а не через API-ключ.

Исследователи взаимодействовали с агентом на базе Semantic Kernel через его стандартный чат-интерфейс.