Публикация отравленных ИИ-артефактов
Оригинал: Publish Poisoned AI Artifacts
Злоумышленники могут создавать или модифицировать ИИ-артефакты и публиковать их через общедоступные или совместно используемые каналы распространения, способствуя компрометации нижестоящих ИИ-систем. К отравленным ИИ-артефактам могут относиться наборы данных, модели и инструменты ИИ-агентов, содержащие вредоносное содержимое, вредоносные варианты поведения, вредоносный код или вредоносные конфигурации.
Злоумышленники могут публиковать новые артефакты или вредоносные варианты легитимных артефактов через репозитории наборов данных или моделей, реестры пакетов, репозитории исходного кода, хабы инструментов или удалённо размещённые сервисы. Впоследствии жертвы могут получить и интегрировать эти артефакты в ходе компрометации цепочки поставок ИИ.
Тактики
Подтехники
Меры защиты
Репозитории наборов данных проверяют поступающие материалы и до публикации в каталоге помещают в карантин отравленные образцы данных, метки, аннотации или метаданные.
AML.M0008Валидация ИИ-моделиПеред публикацией в каталоге репозитории моделей проверяют поступающие материалы на наличие бэкдоров, утечек данных, состязательного воздействия и неожиданного поведения.
AML.M0016Сканирование уязвимостейРеестры моделей и инструментов ИИ-агентов сканируют загружаемые артефакты на наличие вредоносного содержимого перед добавлением в каталог.