Долговременная память для ИИ-ассистента: как превратить переписку в Telegram в структурированную базу знаний
<img src="https://habrastorage.org/getpro/habr/upload_files/bda/b79/06b/bdab7906bb8cd1226c998969e78ea585.png" /><p>У больших языковых моделей нет памяти. сть контекстное окно: сегодня это десятки-сотни тысяч токенов, но как только диалог выходит за его пределы, модель «забывает» всё. Это серьезное ограничение для ассистента, который должен помнить ваши дела, людей и договорённости месяцами.</p><p>Я делаю персонального ассистента, который читает переписку пользователя в Telegram и отвечает на вопросы вида «какой бюджет мы обсуждали на поездку в Турцию?», «что решили по договору с подрядчиком?», «что я обещал Ане?». То есть строю <strong>долговременную память</strong>.</p><p>Казалось бы, задача решается стандартно: заливаем все сообщения в векторную базу, на каждый вопрос делаем top-k поиск и подкладываем найденные чанки в промпт. Я попробовал этот путь и довольно быстро отказался от него в чистом виде. В этой статье я расскажу почему наивный RAG по переписке ломается и какую архитектуру я построил вместо него.</p> <a href="https://habr.com/ru/articles/1080828/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1080828#habracut">Читать далее</a>