Depository of News

Независимые как понятия, зависимые как операции: параметры семплирования в LLM-инференсе

habrahabr.ru · world

Инфраструктура вывода больших языковых моделей традиционно оптимизируется по пропускной способности и задержке: KV-кэш, CUDA-графы, батчинг, квантизация, параллелизм. Эти компоненты формируют «скелет» системы и задают её предельные характеристики. Однако на периферии внимания нередко остаётся слой, определяющий не скорость, а качество - параметры семплирования, то есть правила выбора следующего токена из распределения логитов на каждом шаге декодирования. Читать далее

Read full article →