[Перевод] Мы могли бы изобрести трансформеры из памяти
Современные языковые модели могут запоминать нишевые факты из всех уголков мира. Недавно я опаздывал на вечер настолок у друзей, поэтому попросил Astra напомнить мне правила игры Dune: Imperium. Она с готовностью продиктовала мне их, пока я вёл машину, и это помогло мне вспомнить правила настолько, чтобы сыграть снова. Мы так привыкли спрашивать модели обо всём, что воспринимаем их обширные знания как нечто само собой разумеющееся. Но как же модели запоминают такие объёмы информации? И какой объём они могут хранить? В этом посте я понятным языком расскажу о линейных отображениях, MLP и самовнимании как о типах хранения памяти. Из этого понимания мы сможем вывести эвристики о том, какой объём памяти может храниться в каждом из слоёв. Читать далее