Полные восемь лекций по фундаментальной NLP из аудитории ТГУ: Attention, Трансформер, GPT и чуточку про harness
Привет, хабряне! Меня зовут Михаил Пожидаев. Я работаю доцентом на кафедре теоретических основ информатики Томского государственного университета. Читаю лекции по UNIX, программной инженерии, анализу сетей и обработке естественного языка, о которой хочу сегодня рассказать. На протяжении пяти лет в центре курса по обработке языка, конечно же, находится трансформер — двигатель современных языковых моделей. С каждым годом моё понимание этого непостижимого механизма чуточку улучшалось и пополнялось новыми деталями. В этом году я решил на основе живых лекций сделать серию записей, чтобы результаты многолетних постижений и анализа стали доступны самой широкой аудитории. Получилось восемь роликов по восьми лекциям суммарной длительностью около десяти часов. Курс ориентирован на фундаментальные основы вычислительных процессов, Harness рассмотрен только на одном занятии — про него и так сейчас говорится фантастически много. План лекций такой: 1. Классические основы. Кратко о токенизации и сегментации, стемминге и лемматизации, TF-IDF и алгоритме Витерби. 2. Векторное представление слов. Кратко про перцептрон, линейную ячейку и функции активации, one-hot vector, embedding sparse-dense и другие, HNSW и фактические модели получения embedding, такие как Word2vec, FastText, ELMo и GloVe. 3. Рекуррентные сети. Сеть Элмана и варианты её использования, Seq2Seq, кодер-декодер, LSTM, GRU и некоторые предпосылки появления подходов к языковому моделированию на основе LSTM. 4. Механизм внимания. Общая идея внимания, варианты Богданова и Луонга, переход к внутреннему вниманию (самая изящная фишка в курсе!), multi-head attention, позиционное кодирование в разных видах. Читать далее