Триггеры в мультимодальных входных данных
Оригинал: Triggers in Multimodal Inputs
Злоумышленники могут размещать инструкции или триггеры в одной из частей мультимодальных входных данных, чтобы воздействовать на модель, оставаясь незамеченными как для людей, проверяющих эти данные, так и для средств защиты, которые не проверяют все модальности входных данных.
Мультимодальные системы совместно обрабатывают текст и данные других модальностей, однако многие средства модерации и фильтрации работают преимущественно с текстовым каналом. Полезная нагрузка, размещённая в данных модальности, которая не проверяется или проверяется иначе, чем текст, всё равно разбирается моделью, но может остаться необнаруженной. Это позволяет такой нагрузке изменять выходные данные модели или реализовать межмодальную промпт-инъекцию.
Примеры включают инструкции, размещённые в канале изображений, аудио или видео либо в метаданных файлов (например, в EXIF для изображений, ID3-тегах для аудио или метаданных документов).