Подготовка содержимого для извлечения

Оригинал: Retrieval Content Crafting

Злоумышленники могут подготавливать содержимое так, чтобы оно извлекалось по пользовательским запросам и тем или иным образом влияло на пользователя системы. Такая техника злоупотребляет доверием пользователя к системе.

Подготовленное содержимое может сочетаться с промпт-инъекцией или существовать отдельно, например в самостоятельном документе или письме. Злоумышленнику нужно поместить это содержимое в базу данных жертвы, например в векторную базу данных, используемую в системе RAG (генерации, дополненной извлечением). Для этого он может получить кибердоступ или злоупотребить механизмами приема данных, распространенными в RAG-системах (см. отравление RAG).

Большие языковые модели могут использоваться как вспомогательный инструмент для подготовки такого содержимого.

Тактики

Примеры процедур из кейсов