От картинки к релевантной странице: исследование мультимодальных эмбеддингов
Всем привет! Я Артем, Data Scientist в Raft Digital Solutions. Недавно я гонял три мультимодальных эмбеддера на сканах, таблицах и графиках. Расскажу, что в них можно настроить, что это даёт в качестве поиска и что отнимает: время, память GPU и место в индексе. Начну с задачи. У вас тысячи сканов: договоры, счета, письма, отчёты. Сотрудник спрашивает: «В каком договоре штраф за просрочку 0,1% в день?» Система должна найти нужную страницу... Читать далее
