Зашумление ИИ-системы нерелевантными данными

Оригинал: Spamming AI System with Chaff Data

Злоумышленники могут перегружать ИИ-систему нерелевантными данными, из-за которых растёт число срабатываний. В результате аналитики организации-жертвы могут тратить время на проверку и исправление неверных инференсов.

Злоумышленники также могут перегружать ИИ-агентов избыточными проверяемыми событиями низкой серьёзности или агентными действиями, которые требуют участия человека. Это заставляет организацию-жертву тратить время на ручную проверку работы агентной ИИ-системы.

Тактики

AML.TA0011Воздействие

Меры защиты

AML.M0004Ограничение количества запросов к ИИ-модели

Ограничьте количество запросов, которые пользователи могут выполнять за заданный интервал, чтобы защитить систему от спама шумовыми данными.

AML.M0019Контроль доступа к ИИ-моделям и данным в продакшене

Аутентификация для моделей в продакшене может помочь предотвратить анонимный спам шумовыми данными.