Открываем претрейн Alice AI Search: как устроена модель быстрых ответов Алисы на Поиске
<img src="https://habrastorage.org/getpro/habr/upload_files/dcb/e12/d37/dcbe12d3709d18465807c055067bb145.png" /><p>Быстрый ответ Алисы AI — это самый массовый генеративный продукт Яндекса и первое соприкосновение с Алисой для пользователей Поиска. </p><p>Даже в час пиковой нагрузки пользователь должен получить лаконичный ответ за считаные секунды. Для этого мы, команда Alice AI Search, адаптируем весь пайплайн быстрых ответов — от собственного претрейна с кастомной архитектурой до онлайн‑rl‑обучения на поведенческие сигналы пользователей.</p><p>В статье разберём, как устроен генеративный ответ в Поиске, и расскажем про основные улучшения июньского релиза: как мы ускорили ответы за счёт коротких инфоконтекстов, зачем совместили Encoder‑Decoder с разреженной MoE‑архитектурой и как обучение на реальных пользовательских сигналах повлияло на качество и использование продукта.</p><p>Кроме того, мы выложили в открытый доступ обученную с нуля модель Alice AI‑T5-35B‑A0.6B Base с тем ограничением, что внешним пользователям доступен инференс через Hugging Face Transformers, а оптимизированный production‑инференс пока доступен только внутри Яндекса.</p> <a href="https://habr.com/ru/articles/1080654/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1080654#habracut">Читать далее</a>