Отравление Tay
Оригинал: Tay Poisoning
Microsoft создала Tay, чат-бота для Twitter, предназначенного для общения с пользователями и их развлечения.
В то время как предыдущие чат-боты использовали заранее запрограммированные сценарии для ответов на запросы, возможности машинного обучения Tay позволяли напрямую влиять на него через диалоги.
В ходе скоординированной атаки злонамеренные пользователи отправляли Tay оскорбительные и неприемлемые сообщения, что в итоге привело к генерации Tay похожего провокационного контента в адрес других пользователей.
Microsoft вывела Tay из эксплуатации в течение 24 часов после запуска и принесла публичные извинения, изложив уроки, извлеченные из неудачи бота.
Процедура
- AML.TA0000 Доступ к ИИ-модели
AML.T0047 Продукт или сервис с поддержкой ИИ
Злоумышленники могли взаимодействовать с Tay через сообщения в Twitter. - AML.TA0004 Первичный доступ
AML.T0010.002 Данные
Бот Tay использовал взаимодействия с пользователями Twitter как обучающие данные, чтобы улучшать свои диалоги.
Злоумышленники смогли скоординироваться и использовать эту петлю обратной связи, чтобы исказить поведение Tay.
- AML.TA0006 Закрепление
AML.T0020 Отравление обучающих данных
Многократно взаимодействуя с Tay с использованием расистской и оскорбительной лексики, злоумышленники смогли сместить набор данных Tay в сторону такой же лексики. Для этого они использовали функцию “repeat after me” — команду, которая заставляла Tay повторять все, что ей говорили. - AML.TA0011 Воздействие
AML.T0031 Нарушение целостности ИИ-модели
В результате этой скоординированной атаки диалоговые алгоритмы Tay начали учиться генерировать неприемлемые материалы. Усвоение Tay этой оскорбительной лексики привело к тому, что бот начал повторять ее без запроса при взаимодействии с обычными пользователями.