Публикация отравленных наборов данных

Оригинал: Publish Poisoned Datasets

Злоумышленники могут отравить обучающие данные и опубликовать их в публичном месте.

Отравленный набор данных может быть новым набором данных или отравленным вариантом существующего набора данных с открытым исходным кодом.

Эти данные могут попасть в систему организации-жертвы через компрометацию цепочки поставок ИИ.

Тактики

AML.TA0003Подготовка ресурсов

Меры защиты

AML.M0014Проверка ИИ-артефактов

Проверяйте достоверность опубликованных данных, чтобы не использовать отравленные данные, создающие уязвимости.

AML.M0023Ведомость материалов ИИ

AI BOM может помочь пользователям выявлять недоверенные артефакты моделей.

AML.M0025Поддержание происхождения наборов данных ИИ

Ведение подробной истории наборов данных может помочь выявлять использование отравленных наборов данных из публичных источников.

Примеры процедур из кейсов

AML.CS0025Отравление крупномасштабных веб-датасетов: атака split-viewАктор: Researchers from Google Deepmind, ETH Zurich, NVIDIA, Robust Intelligence, and Google / Тактика: AML.TA0003 Подготовка ресурсов

Затем злоумышленник может разместить отравленные данные на подконтрольных доменах. В этом упражнении исследователи отслеживали обращения к подконтрольным URL, чтобы показать, что датасет действительно продолжает использоваться.