Отравление RAG

Оригинал: RAG Poisoning

Злоумышленники могут внедрять вредоносное содержимое в данные, индексируемые системой RAG (генерации, дополненной извлечением), чтобы вредоносное содержимое попадало в будущий диалог через результаты поиска на основе RAG. Для этого они могут разместить манипулированные документы в месте, которое индексирует RAG (см. Сбор целей, индексируемых RAG).

Содержимое может быть нацелено так, чтобы всегда появляться в результатах поиска по конкретному пользовательскому запросу. Содержимое злоумышленника может включать ложную или вводящую в заблуждение информацию. Оно также может включать промпт-инъекции с вредоносными инструкциями или ложные записи RAG.

Тактики

Примеры процедур из кейсов