Разблокировали тензорные ядра RTX 3060: +83 % и почему на квантованной модели это почти ноль
Репозиторий gpu-unlock снимает коммерческое ограничение NVIDIA на скорость FP16/BF16-тензорных ядер в картах 3000 серии. Мы прогнали его на своей RTX 3060 (GA106-302, LHR) в live Ubuntu: FP16 GEMM вырос с 27,1 до 49,5 TFLOPS (×1,83), при этом контрольная линия FP32 не сдвинулась ни на десятую. В статье о том, что именно урезано и на каком уровне, почему чтение регистров идёт до загрузки драйвера, чем наш замер отличается от уже влитого в апстрим PR, и почему для квантованного инференса llama.cpp это даёт ноль процентов. Читать далее