Стилометрия на Python: анализ авторского стиля на примере 287 детективов Дарьи Донцовой
Количество произведений Донцовой уже давно перевалило за две сотни, в связи с чем у любого читателя возникает логичное предположение: «Донцова не сама пишет свои книги». Тем не менее, одно только число выпущенных книг мало что говорит об авторстве. Можно выпускать романы часто и тем не менее сохранять узнаваемый стиль. Да и обратная ситуация – романы публикуются редко – не гарантируют единообразия. Я решил проверить эту гипотезу, опираясь на тексты, задействуя подходы стилометрии и NLP. Несколько авторов с заметно разной манерой письма должны выделиться в отдельные стилевые группы. Конечно нужно оговориться: по опубликованному тексту нельзя быть на сто процентов уверенными в том, что за клавиатурой сидел именно этот автор или что несколько писателей работали над какой-то книгой. Всё-таки исследование измеряет в первую очередь однородность текстов корпуса, а не физическое авторство. Одного разбиения мало Кластеризации мало – алгоритм почти всегда что-нибудь найдёт и разделит. Найденные группы могут быть объяснены многими факторами, такими как разные серии книг, разные периоды, разные редакторы и так далее. Всё ограничивается лишь тем, сколько именно кластеров мы хотим найти и какие гиперпараметры выбираем. Да и непрерывное облако точек зачастую может быть разделено на подгруппы во время кластеризации. Нам нужно что-то поубедительнее. Из чего собран корпус В исследовании было использовано три набора текстов. Группа Авторы Зачем нужна Исследуемый корпус Дарья Донцова 287 детективов, однородность которых проверяется Современный контроль Александрова, Володарская, Дашкова, Калинина, Куликова, Луганцева, Малышева, Романова, Устинова, Чиж Основное сравнение Дополнительный контроль Булгаков, Достоевский, Куприн, Набоков, Пелевин, Платонов, Солженицын, Толстой, Тургенев, Шолохов Проверка на авторах другого времени и литературного контекста Как выбирались контрольные авторы В основную контрольную группу были добавлены авторы детективов и массовой прозы, близкие к Донцовой по времени и издательской среде. Также критерием отбора служила незапятнанность репутации автора: выбирались такие писатели, про которых не было слухов об использовании литературных помощников. После очистки в десяти современных контрольных коллекциях осталось 745 книг. На одного автора приходится от 22 до 246 книг: среднее значение составляет 74,5, медиана – 52. Среднее выше медианы прежде всего из-за коллекции Дарьи Калининой, в которой осталось 246 книг, так что о размере выборок в контрольном наборе лучше судить по медианному значению. Разброс количества связан в первую очередь с тем, сколько книг доступно для каждого автора, а также с количеством удалённых из выборки произведений. В расчётах влияние размера коллекции ограничивается, то есть при обучении моделей число пар выравнивается по авторам. Для калибровки кластеров случайно выбираются по 22 книги из каждой коллекции, а при сравнении внутренних расстояний исполь Читать далее