MoVA: новая архитектура внимания
<img src="https://habrastorage.org/getpro/habr/upload_files/e4e/8b1/dc4/e4e8b1dc41bae0cbfcbdcd5376a9c148.jpg" /><p>Про архитектуру Mixture of Experts (MoE) слышал каждый, кто следит за ML: Mixtral и DeepSeek доказали эффективность динамического роутинга. Но пока индустрия осваивает базовый MoE, появилось его прямое продолжение под названием MoVA. </p><p>В статье разберем: как устроен классический MoE, что именно MoVA меняет в механизме внимания, чем это архитектурно отличается от MoE, и как это все выглядит на конкретной модели, с цифрами, бенчмарками и первыми независимыми обзорами.</p> <a href="https://habr.com/ru/articles/1080564/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1080564#habracut">Читать далее</a>