[Перевод] Как развернуть Kimi K3 локально на Cerebras
Один из самых частых вопросов, которые нам задают: как мы разворачиваем большие модели на чипах Cerebras размером с целую кремниевую пластину? На одной пластине Cerebras WSE-3T находится 44 ГБ встроенной памяти, а передовым моделям с триллионами параметров нужны терабайты только для хранения весов. В этой статье мы объясним, как распределяем большую модель между несколькими пластинами WSE-3T , чтобы запускать модели с несколькими триллионами параметров со скоростью 1000–2000 токенов в секунду и выше. В качестве наглядного примера возьмём открытую модель Kimi K3, в которой около 3 трлн параметров. Читать далее