Атака на сервисы машинного перевода
Оригинал: Attack on Machine Translation Services
Сервисы машинного перевода, такие как Google Translate, Bing Translator и Systran Translate, предоставляют публичные пользовательские интерфейсы и API.
Исследовательская группа UC Berkeley использовала эти публичные конечные точки, чтобы создать реплицированную модель с современным качеством перевода, близким к уровню продакшен-сервисов.
Помимо демонстрации того, что интеллектуальную собственность можно функционально похитить из системы в режиме чёрного ящика, исследователи использовали реплицированную модель для успешного переноса состязательных примеров на реальные продакшен-сервисы.
Эти состязательные входные данные успешно вызывали целевые подмены слов, нецензурный вывод и пропуски предложений на сайтах Google Translate и Systran Translate.
Процедура
- AML.TA0002 Разведка
AML.T0000 Поиск в открытых технических базах данных
Исследователи использовали опубликованные научные статьи, чтобы определить наборы данных и архитектуры моделей, применявшиеся целевыми сервисами машинного перевода. - AML.TA0003 Подготовка ресурсов
AML.T0002.000 Наборы данных
Исследователи собрали похожие наборы данных, которые использовали целевые сервисы машинного перевода. - AML.TA0003 Подготовка ресурсов
AML.T0002.001 Модели
Исследователи собрали похожие архитектуры моделей, которые использовали целевые сервисы машинного перевода. - AML.TA0000 Доступ к ИИ-модели
AML.T0040 Доступ к API инференса ИИ-модели
Исследователи использовали публично доступное приложение не по назначению: отправляли запросы к модели и получали машинно переведенные пары предложений в качестве обучающих данных. - AML.TA0001 Подготовка атаки на ИИ
AML.T0005.001 Обучение прокси-модели через репликацию
Используя эти переведенные пары предложений, исследователи обучили модель, реплицирующую поведение целевой модели. - AML.TA0011 Воздействие
AML.T0048.004 Кража интеллектуальной собственности ИИ
Реплицировав модель с высокой точностью, исследователи показали, что злоумышленник может украсть модель и нарушить права организации-жертвы на интеллектуальную собственность. - AML.TA0001 Подготовка атаки на ИИ
AML.T0043.002 Перенос на модель чёрного ящика
Реплицированные модели использовались для генерации состязательных примеров, которые успешно срабатывали на сервисах машинного перевода с закрытой внутренней логикой. - AML.TA0011 Воздействие
AML.T0015 Обход ИИ-модели
Состязательные примеры использовались для обхода сервисов машинного перевода разными способами. Среди них были целевые подмены слов, нецензурный вывод и пропуски предложений. - AML.TA0011 Воздействие
AML.T0031 Нарушение целостности ИИ-модели
Состязательные атаки могут вызывать ошибки, которые наносят репутационный ущерб компании, предоставляющей сервис перевода, и снижают доверие пользователей к сервисам на базе ИИ.