Репликация модели GPT-2

Оригинал: GPT-2 Model Replication

OpenAI создала GPT-2, языковую модель, способную генерировать текстовые образцы высокого качества. Из-за опасений, что GPT-2 может использоваться в злонамеренных целях, например для выдачи себя за других людей, генерации вводящих в заблуждение новостных статей, фальшивого контента в социальных сетях или спама, OpenAI выбрала поэтапный график публикации. Сначала была опубликована меньшая и менее мощная версия GPT-2 вместе с техническим описанием подхода, но полностью обученная модель не публиковалась.

До публикации полной модели OpenAI исследователи из Brown University успешно реплицировали модель, используя опубликованную OpenAI информацию и ML-артефакты с открытым исходным кодом. Это показывает, что злоумышленник с достаточными техническими навыками и вычислительными ресурсами мог бы реплицировать GPT-2 и использовать ее во вредоносных целях до того, как сообщество специалистов по безопасности ИИ будет к этому готово.

Процедура

1. AML.TA0002 Разведка

   AML.T0000 Поиск в открытых технических базах данных

   Используя публичную документацию по GPT-2, исследователи собрали сведения о наборе данных, архитектуре модели и гиперпараметрах обучения.
2. AML.TA0003 Подготовка ресурсов

   AML.T0002.001 Модели

   Исследователи получили эталонную реализацию похожей общедоступной модели под названием Grover.
3. AML.TA0003 Подготовка ресурсов

   AML.T0002.000 Наборы данных

   Используя собранную документацию, исследователи смогли вручную воссоздать набор данных, применявшийся в исходной статье о GPT-2.
4. AML.TA0003 Подготовка ресурсов

   AML.T0008.000 Рабочие пространства для разработки ИИ

   Исследователи смогли использовать TensorFlow Research Cloud через свои академические учетные данные.
5. AML.TA0001 Подготовка атаки на ИИ

   AML.T0005.000 Обучение прокси-модели на собранных ИИ-артефактах

   Исследователи изменили функцию потерь Grover так, чтобы она соответствовала функции потерь GPT-2, а затем обучили модель на подготовленном ими наборе данных, используя исходные гиперпараметры Grover. Полученная модель воспроизводила поведение GPT-2 и показывала сопоставимое качество на большинстве наборов данных.

   Злоумышленник, повторивший действия исследователей, мог бы затем использовать такую копию GPT-2 во вредоносных целях.

Источники

1. Wired Article, "OpenAI Said Its Code Was Risky. Two Grads Re-Created It Anyway"
2. Medium BlogPost, "OpenGPT-2: We Replicated GPT-2 Because You Can Too"