Доступ к ИИ-модели

Исследователи имели доступ к ПО Cylance для обнаружения вредоносного ПО с поддержкой ИИ.

Злоумышленники использовали приложение виртуальной камеры, чтобы передать сгенерированное видео в сервис распознавания лиц на основе машинного обучения, применявшийся для проверки пользователей.

Исследователи использовали публично доступное приложение не по назначению: отправляли запросы к модели и получали машинно переведенные пары предложений в качестве обучающих данных.

Исследователи отправили через систему множество писем, чтобы собрать выходные данные модели из заголовков.

Злоумышленники могли взаимодействовать с Tay через сообщения в Twitter.

Команда использовала открытый API для доступа к целевой модели.

Используя общедоступную версию ML-модели, команда начала отправлять запросы и анализировать ответы, то есть результаты инференса модели.

Команда получила доступ к API инференса целевой модели.

Команда разместила подготовленную наклейку в физической среде, чтобы вызвать сбои в системе идентификации лиц.

На этапе инференса для запуска атаки требуется только доступ к физической среде.

Это дало исследователям полный доступ к ML-модели, хотя и в скомпилированном бинарном виде.

На протяжении кейса исследователи использовали доступ к целевому антивирусному продукту на основе ML. Продукт сканирует файлы на системе пользователя, локально извлекает признаки, а затем отправляет их в облачный ML-детектор вредоносного ПО для классификации. Поэтому у исследователей был только доступ к самому детектору в режиме чёрного ящика, но из экстрактора признаков они могли получить ценную информацию для построения атаки.