Отравление обучающих данных
Оригинал: Poison Training Data
Злоумышленники могут пытаться отравить наборы данных, используемые ИИ-моделью, изменяя исходные данные или их метки.
Это позволяет злоумышленнику встроить в ИИ-модели, обученные на этих данных, уязвимости, которые может быть трудно обнаружить.
Атаки отравления данных могут требовать или не требовать изменения меток.
Встроенная уязвимость активируется позднее образцами данных с бэкдор-триггером.
Отравленные данные могут быть внедрены через компрометацию цепочки поставок ИИ, либо данные могут быть отравлены после того, как злоумышленник получит первичный доступ к системе.
Тактики
Меры защиты
Опубликованные наборы данных могут стать целью атак отравления.
AML.M0005Контроль доступа к ИИ-моделям и хранимым даннымКонтроль доступа может предотвращать подмену ML-артефактов и несанкционированное копирование.
AML.M0007Санитизация обучающих данныхВыявляйте изменения данных и меток, которые могут вызвать состязательный дрейф модели или бэкдор-атаки.
AML.M0008Валидация ИИ-моделиТщательная оценка ИИ-модели может повысить уверенность в том, что модель не была отравлена.
AML.M0023Ведомость материалов ИИAI BOM может помочь пользователям выявлять недоверенные артефакты моделей.
AML.M0025Поддержание происхождения наборов данных ИИСведения о происхождении наборов данных могут защищать от отравления обучающих данных.
Примеры процедур из кейсов
Несколько вендоров начали классифицировать файлы как относящиеся к этому семейству программ-вымогателей, хотя большинство из них не запускались. Мутированные образцы отравили набор данных, который модели машинного обучения используют для выявления и классификации этого семейства программ-вымогателей.
AML.CS0009Отравление TayМногократно взаимодействуя с Tay с использованием расистской и оскорбительной лексики, злоумышленники смогли сместить набор данных Tay в сторону такой же лексики. Для этого они использовали функцию "repeat after me" — команду, которая заставляла Tay повторять все, что ей говорили.
AML.CS0025Отравление крупномасштабных веб-датасетов: атака split-viewЗлоумышленник может подготовить отравленные обучающие данные, чтобы подменить недоступные фрагменты датасета.