Тест Jev в качестве реранкера против LLM на классификации товаров по справочнику из 78 тысяч кодов
Реранк — самая дорогая стадия пайплайна классификации по справочнику ОКТРУ: поиск отбирает 30 кандидатов, LLM выбирает один. Я проверил, можно ли отдать этот шаг модели, которая вообще не генерирует текст, — TypeSafe Jev: она принимает состояние и типизированные вопросы, а возвращает вероятности. Замер на 928 позициях технических спецификаций госзакупок, на одном пуле кандидатов, против gpt-oss-120b с reasoning и без него, Gemma-4-31B, Gemini 3.5 Flash Lite, 3.8 Flash и 3.1 Pro и классического кросс-энкодера Qwen3-Reranker-8B. Jev дал отличную точность, как у больших моделей, но при этом стоимость и латенси как у небольшой 8B-модели. Читать далее