От учителя к студенту: путь к изотропным эмбеддингам в 29M модели. Часть 1/10
Просмотр слоев моделей, первые "пристрелочные" тесты для определения общего направления работы и выбор базовой модели для дистилляции. Эта часть довольно простая и короткая, но содержит некоторые важные наблюдения. Читать далее