Отравление крупномасштабных веб-датасетов: атака split-view
Оригинал: Web-Scale Data Poisoning: Split-View Attack
Многие современные крупномасштабные веб-датасеты распространяются как список URL, указывающих на отдельные элементы данных. Исследователи показывают, что многие такие датасеты уязвимы к атаке отравления типа «split-view». Атака использует тот факт, что данные, доступные при первоначальном сборе, могут отличаться от данных, которые пользователь получает во время обучения. Исследователи находят домены с истекшей регистрацией, на которых раньше размещалось содержимое датасетов, а также домены, доступные для покупки. Это позволяет заменить части датасета отравленными данными. Они демонстрируют, что для 10 популярных крупномасштабных веб-датасетов можно выкупить достаточно доменов, чтобы успешно провести атаку отравления.
Процедура
- AML.TA0003 Подготовка ресурсов
AML.T0002.000 Наборы данных
Исследователи скачивают крупномасштабный веб-датасет, представляющий собой список URL на отдельные элементы данных. - AML.TA0003 Подготовка ресурсов
AML.T0008.002 Домены
Исследователи находят в датасете домены с истекшей регистрацией и выкупают их. - AML.TA0003 Подготовка ресурсов
AML.T0020 Отравление обучающих данных
Злоумышленник может подготовить отравленные обучающие данные, чтобы подменить недоступные фрагменты датасета. - AML.TA0003 Подготовка ресурсов
AML.T0019 Публикация отравленных наборов данных
Затем злоумышленник может разместить отравленные данные на подконтрольных доменах.
В этом упражнении исследователи отслеживали обращения к подконтрольным URL, чтобы показать, что датасет действительно продолжает использоваться.
- AML.TA0011 Воздействие
AML.T0059 Нарушение целостности набора данных
Целостность датасета нарушается, потому что при последующих скачиваниях он будет содержать отравленные элементы данных. - AML.TA0011 Воздействие
AML.T0031 Нарушение целостности ИИ-модели
Модели, обученные на таком датасете, также будут отравлены, что нарушит их целостность.
Исследователи показывают, что для успешной атаки достаточно отравить всего 0,01% данных.