Depository of News

Не трогая веса модели: как мы построили исследовательского агента Алисы AI и в разы сократили потребление GPU

newsdepo.com · tech

<img src="https://habrastorage.org/getpro/habr/upload_files/241/938/f28/241938f2831fd804550639e0b3cff45b.png" /><p>Меня зовут Прохор, я&nbsp;лид команды агента «Исследовать»&nbsp;— это режим глубокого исследования в&nbsp;чате с&nbsp;Алисой AI.</p><p>Напомню, про&nbsp;что&nbsp;вообще речь, если никогда не&nbsp;пользовались Deep Research: это специальный режим работы, который строит уникальный план решения задачи пользователя, делает сотни поисков по&nbsp;вашему запросу, умеет ходить на&nbsp;сайты (даже с&nbsp;динамическим JavaScript‑контентом), писать и выполнять Python‑код (для сложных расчётов), работать со скачанными файлами и так далее. Всё это для&nbsp;того, чтобы дать лучший ответ на&nbsp;ваши сложные запросы, например: «Спланируй мне путешествие в&nbsp;Дагестан на&nbsp;две недели на&nbsp;машине с&nbsp;детьми».</p><p>За&nbsp;год агент прошёл путь от&nbsp;первого прототипа до&nbsp;продакшена&nbsp;— вместе с&nbsp;ним менялись качество ответов, скорость работы и потребление GPU. За&nbsp;продуктовую часть отвечал Руслан Илиев, продакт менеджер агента: он сформулировал продуктовые цели, определил набор инструментов и валидационный набор запросов, а&nbsp;затем вёл запуск от&nbsp;закрытого вейтлиста до 100% продакшена. Как&nbsp;мы к&nbsp;этому пришли&nbsp;— через выброшенный прототип, десятки слоёв обвязки и пару болезненных уроков,&nbsp;— расскажу по&nbsp;порядку. Добро пожаловать под&nbsp;кат!</p> <a href="https://habr.com/ru/articles/1079290/?utm_source=habrahabr&amp;utm_medium=rss&amp;utm_campaign=1079290#habracut">Читать далее</a>

Read full article →