Сайзинг RAM и vCPU для локальной языковой модели: считаем стартовый размер VM
<p>Сайзинг RAM и vCPU для локальной языковой модели начинается с конкретных весов и профиля запросов. Исходные требования self-hosted LLM включают длину входа и ответа, конкурентность, рантайм и схему offload. Расчёт по размеру весов и формуле KV-кэша даёт стартовую конфигурацию, а прогретый тест показывает реальное потребление памяти и точку, где CPU перестаёт помогать.</p> <a href="https://habr.com/ru/articles/1080970/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1080970#habracut">Читать далее</a>