Локальный ИИ класса Opus 4.6 «задешево»: две Tesla P100, 28-поточный Xeon и тесты на реальных задачах
<img src="https://habrastorage.org/getpro/habr/upload_files/e92/418/93f/e9241893f7e63c209deb1627b642b0ca.JPG" /><p> Я собрал домашний сервер с нейросетками, чтобы не зависеть от облака. Далее честный рассказ с цифрами, бенчмарком на 14 реальных задачах и выводами, которые я проверял на себе.</p><p> Если совсем коротко: киловатт питания, две серверные Tesla P100 (суммарно 32 ГБ видеопамяти), турбины, которые слегка шумят, но сервер пришлось выселить на кухню, и Xeon на 28 потоков. Всё это выдаёт от 10 до 50 токенов в секунду, в зависимости от модели. DeepSeek в облаке в три раза быстрее, зато это моё и всегда доступное круглые сутки.</p> <a href="https://habr.com/ru/articles/1071442/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1071442#habracut">Что умеет этот стенд</a>