Ограничение потребления ресурсов рабочими нагрузками ИИ

Оригинал: Limit AI Workload Resource Consumption

Ограничивайте объём ресурсов, который может потреблять запрос к ИИ, задание инференса или рабочий процесс ИИ-агента. Устанавливайте ограничения на размер входных данных, размер батча, время выполнения, объём памяти, вычислительные ресурсы и размер выходных данных. Сервисы генеративного ИИ также должны ограничивать число токенов контекста и выходных токенов. В агентных ИИ-системах следует ограничивать число итераций, повторных попыток, вызовов инструментов и параллельных задач, глубину делегирования и расходы, возникающие при обращении к нижестоящим сервисам.

Применяйте ограничения ресурсов на всём протяжении рабочего процесса, поскольку один запрос может инициировать несколько вызовов модели или внешних действий. Используйте таймауты, предельные уровни затрат, автоматические выключатели (circuit breakers) и условия безопасного завершения, чтобы отдельные рабочие нагрузки не могли исчерпать общие ресурсы. Эти меры дополняют ограничения частоты запросов, которые защищают от большого числа запросов, по отдельности не требующих значительных затрат.

Связанные техники