Бэкдор-атака на модели глубокого обучения в мобильных приложениях
Оригинал: Backdoor Attack on Deep Learning Models in Mobile Apps
Модели глубокого обучения все чаще используются в мобильных приложениях как критически важные компоненты.
Исследователи из Microsoft Research показали, что многие модели глубокого обучения, развернутые в мобильных приложениях, уязвимы к бэкдор-атакам через «инъекцию нейронной полезной нагрузки».
Они провели эмпирическое исследование реальных мобильных приложений с глубоким обучением, собранных из Google Play. Исследователи выявили 54 приложения, уязвимых к атаке, включая популярные приложения для безопасности и критически важные для безопасности приложения, используемые для распознавания денежных купюр, родительского контроля, аутентификации по лицу и финансовых сервисов.
Процедура
- AML.TA0002 Разведка
AML.T0004 Поиск в репозиториях приложений
Чтобы составить список потенциальных целевых моделей, исследователи искали в Google Play приложения, которые могли содержать встроенные модели глубокого обучения, по ключевым словам, связанным с глубоким обучением. - AML.TA0003 Подготовка ресурсов
AML.T0002.001 Модели
Исследователи получили APK-файлы приложений из Google Play.
Они отфильтровали список потенциальных целевых приложений, проверяя метаданные кода на ключевые слова, связанные с TensorFlow или TFLite, а также с их бинарными форматами моделей (.tf и .tflite).
Модели были извлечены из APK-файлов с помощью Apktool.
- AML.TA0000 Доступ к ИИ-модели
AML.T0044 Полный доступ к ИИ-модели
Это дало исследователям полный доступ к ML-модели, хотя и в скомпилированном бинарном виде. - AML.TA0003 Подготовка ресурсов
AML.T0017.000 Состязательные атаки на ИИ
Исследователи разработали новый подход к внедрению бэкдора в скомпилированную модель, который может активироваться визуальным триггером. Они внедряют в модель “нейронную полезную нагрузку”, состоящую из сети обнаружения триггера и условной логики.
Детектор триггера обучается распознавать визуальный триггер, который будет размещен в реальном мире.
Условная логика позволяет исследователям обходить модель жертвы при обнаружении триггера и выдавать выбранные ими выходные данные модели.
Для обучения детектора триггера нужны только общий набор данных той же модальности, что и целевая модель, например ImageNet для классификации изображений, и несколько фотографий нужного триггера.
- AML.TA0006 Закрепление
AML.T0018.001 Изменение архитектуры ИИ-модели
Исследователи отравили модель жертвы, внедрив нейронную полезную нагрузку в скомпилированные модели через прямое изменение вычислительного графа.
Затем исследователи снова упаковали отравленную модель в APK-файл.
- AML.TA0001 Подготовка атаки на ИИ
AML.T0042 Проверка атаки
Чтобы проверить успешность атаки, исследователи убедились, что приложение не падает при использовании вредоносной модели, а детектор триггера успешно обнаруживает триггер. - AML.TA0004 Первичный доступ
AML.T0010.003 Модель
На практике вредоносный APK-файл должен быть установлен на устройства жертв через компрометацию цепочки поставок. - AML.TA0001 Подготовка атаки на ИИ
AML.T0043.004 Добавление бэкдор-триггера
Триггер размещается в физической среде, где его захватывает камера устройства жертвы, после чего он обрабатывается ML-моделью с бэкдором. - AML.TA0000 Доступ к ИИ-модели
AML.T0041 Доступ к физической среде
На этапе инференса для запуска атаки требуется только доступ к физической среде. - AML.TA0011 Воздействие
AML.T0015 Обход ИИ-модели
Предъявление визуального триггера приводит к обходу модели жертвы.
Исследователи показали, что это можно использовать для обхода ML-моделей в нескольких критически важных для безопасности приложениях из Google Play.