Генеративный ИИ

Оригинал: Generative AI

Злоумышленники могут искать и получать модели или инструменты генеративного ИИ, например большие языковые модели (LLM), чтобы использовать их на разных этапах своей операции. Генеративный ИИ может применяться множеством вредоносных способов: для генерации вредоносного ПО, создания дипфейков, генерации вредоносных команд, подготовки содержимого для извлечения или создания фишингового контента.

Злоумышленники могут получать модели с открытым исходным кодом и запускать их локально с помощью фреймворков, таких как Ollama или vLLM. Они могут размещать модели в облачной инфраструктуре или использовать провайдеров ИИ-сервисов, таких как Hugging Face.

Им может потребоваться выполнить джейлбрейк модели (см. джейлбрейк LLM), чтобы обойти ограничения, введенные для контроля типов ответов, которые модель может генерировать. Им также может потребоваться нарушить условия использования разработчика модели.

Модели генеративного ИИ также могут быть без цензурных ограничений, то есть спроектированными для генерации контента без ограничений, таких как защитные механизмы или контентные фильтры. Такие модели GenAI без цензурных ограничений особенно удобны для злоупотреблений со стороны киберпреступников [[blog]] [[gbhackers]]. Модели могут быть дообучены для удаления выравнивания и защитных ограничений [[erichartford]] либо подвергнуты целевым манипуляциям для обхода отказов [[arxiv]], что приводит к появлению вариантов модели без цензурных ограничений. Модели без цензурных ограничений могут создаваться для наступательной и защитной кибербезопасности [[taico]], чем может злоупотребить злоумышленник. Также существуют модели, прямо разработанные и рекламируемые для вредоносного использования [[gbhackers-1]].

Тактики

Родительская техника

Другие подтехники родителя

Примеры процедур из кейсов

Источники

• [2406.11717] Refusal in Language Models Is Mediated by a Single Direction
• Cybercriminal abuse of large language models
• erichartford
• Cybercriminals Exploit LLM Models to Enhance Hacking Activities
• BlackHat AI Tool WormGPT Enhanced with Grok and Mixtral
• TAICO | WhiteRabbitNeo: An Uncensored, Open Source AI Model for Red & Blue Team Cybersecurity