Лайфхак с Shared GPU Memory Override или как я запускал нейросети на мини-ПК (на примере GEEKOM GT1 Mega)
Неочевидный момент - на мини-компьютерах можно отдать практически всю оперативную память для интегрированного GPU, что позволяет запускать LLM типа 26B/27B, без необходимости покупать дорогостоящие видеокарты. В статье покажу, как это сделать, какие LLM работают и оценю их эффективность. Читать далее
