Месяц тюнил поиск по памяти, а починила всё одна строка в промпте
<p>Поднял Recall@5 поиска по памяти на 17%, померил качество самих ответов и получил прирост, неотличимый от шума: тест Макнемара, p = 0.79. Месяц работы впустую. Потом посмотрел в промпт, поправил там одну формулировку и получил плюс 16 процентных пунктов за вечер. Модель отказывалась отвечать, когда ответ лежал прямо перед ней.</p><p>Внутри: как собрать свой набор проверочных вопросов и не обмануться, почему параметры BM25 из статей проиграли подобранным перебором, и какие шесть приёмов не сработали вообще.</p> <a href="https://habr.com/ru/articles/1079060/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1079060#habracut">Читать далее</a>