Данные

Оригинал: Data

Данные являются для злоумышленников ключевым вектором компрометации цепочки поставок.

Любой ИИ-проект требует данных в той или иной форме.

Многие проекты опираются на крупные общедоступные открытые наборы данных.

Злоумышленник может рассчитывать на компрометацию этих источников данных.

Вредоносные данные могут быть результатом отравления обучающих данных или включать традиционное вредоносное ПО.

Злоумышленник также может нацеливаться на закрытые наборы данных на этапе разметки.

Создание закрытых наборов данных часто требует привлечения внешних сервисов разметки.

Злоумышленник может отравить набор данных, изменяя метки, создаваемые сервисом разметки.

Тактики

AML.TA0004Первичный доступ

Родительская техника

AML.T0010Компрометация цепочки поставок ИИ

Другие подтехники родителя

AML.T0010.000Аппаратное обеспечениеПодтехника AML.T0010.001ПО для ИИПодтехника AML.T0010.003МодельПодтехника AML.T0010.004Реестр контейнеровПодтехника AML.T0010.005Инструмент ИИ-агентаПодтехника

Меры защиты

AML.M0005Контроль доступа к ИИ-моделям и хранимым данным

Контроль доступа может предотвращать подмену ML-артефактов и несанкционированное копирование.

AML.M0007Санитизация обучающих данных

Выявляйте и удаляйте отравленные данные либо устраняйте их последствия, чтобы избежать состязательного дрейфа модели или бэкдор-атак.

AML.M0014Проверка ИИ-артефактов

Внедрите надлежащую проверку подписей, чтобы небезопасные ИИ-данные не попадали в систему.

AML.M0025Поддержание происхождения наборов данных ИИ

Сведения о происхождении наборов данных могут защищать от компрометации данных в цепочке поставок.

Примеры процедур из кейсов

AML.CS0002Отравление VirusTotalАктор: Unknown / Тактика: AML.TA0004 Первичный доступ

Злоумышленник загрузил мутированные образцы на платформу.

AML.CS0009Отравление TayАктор: 4chan Users / Тактика: AML.TA0004 Первичный доступ

Бот Tay использовал взаимодействия с пользователями Twitter как обучающие данные, чтобы улучшать свои диалоги. Злоумышленники смогли скоординироваться и использовать эту петлю обратной связи, чтобы исказить поведение Tay.