ATLAS RU

Галлюцинация пакетов ChatGPT

Оригинал: ChatGPT Package Hallucination

Исследователи установили, что большие языковые модели, такие как ChatGPT, могут галлюцинировать названия фиктивных программных пакетов, которые не опубликованы в репозитории пакетов. Злоумышленник может опубликовать вредоносный пакет под сгаллюцинированным названием в репозитории пакетов. Затем пользователи той же или похожей большой языковой модели могут столкнуться с той же галлюцинацией и в итоге скачать и выполнить вредоносный пакет, что может привести к различным потенциальным последствиям.

Процедура

  1. AML.TA0000 Доступ к ИИ-модели

    AML.T0040 Доступ к API инференса ИИ-модели

    На протяжении упражнения исследователи использовали публичный API ChatGPT.
  2. AML.TA0008 Выявление

    AML.T0062 Выявление галлюцинированных сущностей LLM

    Исследователи просили ChatGPT предложить программные пакеты и выявляли среди рекомендаций галлюцинации — пакеты, которых нет в публичном репозитории.

    Например, на вопрос “how to upload a model to huggingface?” модель предложила установить пакет huggingface-cli командой pip install huggingface-cli.

    Такого пакета в PyPI не существовало; реальный CLI-инструмент Hugging Face входит в пакет huggingface_hub.

  3. AML.TA0003 Подготовка ресурсов

    AML.T0060 Публикация галлюцинированных сущностей

    Злоумышленник мог загрузить вредоносный пакет под галлюцинированным именем в PyPI или другие реестры пакетов.

    На практике исследователи загрузили в PyPI пустой пакет, чтобы отслеживать скачивания.

  4. AML.TA0004 Первичный доступ

    AML.T0010.001 ПО для ИИ

    Пользователь ChatGPT или другой LLM может задать похожий вопрос, получить то же галлюцинированное имя пакета и скачать вредоносный пакет.

    Исследователи показали, что несколько LLM могут выдавать одни и те же галлюцинации, и зафиксировали более 30 000 скачиваний пакета huggingface-cli.

  5. AML.TA0005 Выполнение

    AML.T0011.001 Вредоносный пакет

    В итоге пользователь загрузит вредоносный пакет, что позволит выполнить произвольный код.
  6. AML.TA0011 Воздействие

    AML.T0048.003 Ущерб пользователям

    Это может привести к различному ущербу для конечного пользователя или организации.

Источники

  1. Vulcan18's "Can you trust ChatGPT's package recommendations?"
  2. Lasso Security Research: Diving into AI Package Hallucinations
  3. AIID Incident 731: Hallucinated Software Packages with Potential Malware Downloaded Thousands of Times by Developers
  4. Slopsquatting: When AI Agents Hallucinate Malicious Packages