Тензорные ядра больше не спасают: почему ИИ-ускорители упрутся в память
<img src="https://habrastorage.org/getpro/habr/upload_files/243/512/c5c/243512c5cd273d44d4b60ce8a0b39a3c.png" /><p>Производители ИИ-ускорителей продолжают увеличивать количество тензорных ядер и осваивать всё более короткие форматы данных, включая FP8 и FP4. Производительность вроде как растёт, причем впечатляющими темпами, но есть одна загвоздка. Вычислительные блоки нужно постоянно снабжать весами модели и промежуточными данными. Если память не успевает, дорогой чип с десятками миллиардов транзисторов натурально простаивает в ожидании очередной порции данных.</p><p>Samsung <a href="https://www.tomshardware.com/pc-components/dram/samsung-teases-new-hbm5-with-twice-the-performance-of-hbm4e-ambitious-data-transfer-rates-could-hint-at-4-096-bit-interface">планирует решить</a> проблему при помощи HBM5. Как именно? Удвоить производительность относительно HBM4E и одновременно на 20% повысить эффективность на ватт. Пропускная способность одного стека в перспективе может приблизиться к 4 ТБ/с благодаря 4096-битной шине. Давайте разбираться, что там и как.</p> <a href="https://habr.com/ru/articles/1078518/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1078518#habracut">Читать далее</a>