Внедрение ложной записи RAG
Оригинал: False RAG Entry Injection
Злоумышленники могут добавлять поддельные записи в базу данных RAG (генерации, дополненной извлечением) жертвы. Для этого в источник данных, который поступает в базу RAG, помещается содержимое, оформленное так, чтобы большая языковая модель (LLM) RAG-системы восприняла его как документ. Когда такая RAG-запись извлекается, LLM обманывают так, что часть полученного содержимого принимается за поддельный результат RAG.
Размещение поддельного RAG-документа внутри обычной RAG-записи позволяет обойти инструменты мониторинга данных. Кроме того, такой документ нельзя удалить напрямую.
Злоумышленник может использовать выявленные системные ключевые слова, чтобы понять, как заставить конкретную LLM воспринимать содержимое как RAG-запись. Он может манипулировать метаданными внедренной записи, включая название документа, автора и дату создания.