У нас есть Claude дома — заметка о том, как я делал быстрый и дешёвый локальный LLM
Берём видеокарту RTX 5060 Ti 16 ГБ, 64 ГБ быстрой DDR5 памяти, запускаем небольшую Qwen3.8 27B Q3 во всю vram, с околонулевым контекстом, получаем неплохую скорость, пишем сапёр/змейку — и оно работает. А дальше подключаем OpenCode, грузим реальный проект и получаем постоянное compacting, уход непонятно в какие дебри, так как она потеряла контекст. Бросаем и забываем эти ваши локальные LLM как страшный сон. Знакомо? Так выглядит типичный путь тех, кто решил поднять текстовую нейросеть дома. Всё, что не влезает в 16 ГБ видеопамяти, обычно выгружают слоями в оперативку, и скорость падает до дна. А вместе с ней и весь смысл затеи. Но недавно появился Strata. Это движок под архитектуру Qwen3.8-Flash-Next и следующего Qwen4. Он не гоняет слои туда-сюда, самые востребованные эксперты лежат в видеопамяти, остальные в RAM, а большая справочная таблица — на SSD. Благодаря этому модель на 50+ ГБ работает на обычном игровом ПК с контекстом до 512K, который для работы с кодом ой как нужен. В статье кратко покажу, как запустить её на 16 ГБ VRAM + 64 ГБ RAM, подключить OpenCode и что получается на реальных проектах. Читать далее
