Валидация входных и выходных данных компонентов ИИ-агента
Оригинал: Input and Output Validation for AI Agent Components
Реализуйте валидацию входных и выходных данных для инструментов и источников данных, используемых ИИ-агентами. Валидация включает принудительное применение общего формата данных, проверку схемы, проверки на утечку конфиденциальной или запрещенной информации и санитизацию данных для удаления потенциальных инъекций или небезопасного кода. Валидация входных и выходных данных может помочь предотвращать распространение компрометации в системах с поддержкой ИИ и защитить рабочий процесс, когда несколько компонентов соединены в цепочку. Валидацию следует выполнять вне ИИ-агента.
Связанные техники
Валидация может помешать злоумышленникам выполнять промпт-инъекции, способные повлиять на агентные рабочие процессы.
AML.T0051.000Прямая промпт-инъекцияВалидация может помешать злоумышленникам выполнять промпт-инъекции, способные повлиять на агентные рабочие процессы.
AML.T0051.001Косвенная промпт-инъекцияВалидация может помешать злоумышленникам выполнять промпт-инъекции, способные повлиять на агентные рабочие процессы.
AML.T0051.002Триггерная промпт-инъекцияВалидация может помешать злоумышленникам выполнять промпт-инъекции, способные повлиять на агентные рабочие процессы.
AML.T0053Вызов инструментов ИИ-агентаВалидация может помешать злоумышленникам использовать инструменты в агентном рабочем процессе для генерации небезопасных выходных данных.
AML.T0086Эксфильтрация через вызов инструмента ИИ-агентаВалидация может помешать злоумышленникам использовать инструменты в агентном рабочем процессе для компрометации источников чувствительных данных.