Создание дипфейков

Оригинал: Generate Deepfakes

Злоумышленники могут использовать генеративный искусственный интеллект (GenAI) для создания синтетических медиа, то есть изображений, видео, аудио и текста, которые выглядят подлинными. Такие дипфейки могут имитировать реального человека или изображать вымышленных персонажей. Злоумышленники могут использовать дипфейки для имперсонации при проведении фишинга или для обхода ИИ-приложений, например систем биометрической проверки личности (см. Обход ИИ-модели).

Манипулирование медиа было возможно уже давно, однако GenAI снижает необходимые навыки и трудозатраты, позволяя злоумышленникам быстро масштабировать операции и атаковать больше пользователей или систем. Кроме того, GenAI делает возможными манипуляции в реальном времени.

Злоумышленники могут использовать модели с открытым исходным кодом и ПО, разработанные для легитимных сценариев, чтобы создавать дипфейки для вредоносного использования. Однако существуют и проекты, специально ориентированные на вредоносные сценарии, например ProKYC.

Тактики

AML.TA0001Подготовка атаки на ИИ

Меры защиты

AML.M0009Использование мультимодальных сенсоров

Использование разных сенсоров, например инфракрасных камер глубины, может помогать обнаруживать дипфейки.

AML.M0034Обнаружение дипфейков

Обнаружение дипфейков можно использовать для выявления и блокировки сгенерированного контента.

Примеры процедур из кейсов

AML.CS0033Обход мобильной KYC-верификации с помощью дипфейк-изображения в реальном времениАктор: iProov Red Team / Тактика: AML.TA0001 Подготовка атаки на ИИ

Исследователи использовали собранные изображения лица жертвы и инструмент Faceswap, чтобы создать дипфейк-видео в реальном времени, имитирующие внешность жертвы.

AML.CS0034ProKYC: дипфейк-инструмент для атак с мошенническим созданием аккаунтовАктор: ProKYC, cybercriminal group / Тактика: AML.TA0001 Подготовка атаки на ИИ

Злоумышленник использовал в ProKYC сочетание реальных персональных данных и поддельной информации, чтобы сгенерировать дипфейк-удостоверение личности.

Злоумышленник использовал ProKYC, чтобы сгенерировать дипфейк-видео с селфи: лицо на видео совпадало с лицом в удостоверении личности, что позволяло обходить проверку присутствия живого человека.

AML.CS0057Storm-2139: обход защитных ограничений Azure OpenAIАктор: Storm-2139 / Тактика: AML.TA0001 Подготовка атаки на ИИ

Конечные пользователи генерировали синтетические изображения с противоправным содержанием, включая интимные изображения знаменитостей без их согласия, а также другой сексуально откровенный, мизогинный, насильственный или разжигающий ненависть контент.