Depository of News

[Перевод] Qwen3.8 Flash на RTX 4090. Лучше обычного 27В?

habrahabr.ru · world

В одном из экспериментов Kwangju Shin запустил Qwen3.8-27B примерно со 100 токенами в секунду. Для ускорения использовалась DFlash2, технология спекулятивного декодирования, которая позволяет небольшой вспомогательной модели предлагать сразу несколько следующих токенов для проверки основной моделью. После получения рабочего локального API автор решил проверить Qwen3.8-Flash-Next на том же компьютере. Интерес представляла возможность улучшить качество ответов без увеличения ожидания, сохранив при этом достаточно ресурсов для других приложений. Конфигурация тестового ПК: Читать далее

Read full article →