Ankyra: нейро-символический движок, который честно говорит «не знаю»
Все, кто работал с большими языковыми моделями, так или иначе сталкивались с проблемой галлюцинаций. Как бы хорошо ни была обучена модель, она может выдать утверждение, которого нет ни в тексте, ни в реальности. В силу вероятностной природы своих рассуждений модель не различает «это было в источнике» и «это я достроила». И проблема даже не в том, что такие изобретения случаются, а в том, что они выглядят правдоподобно. Обнаружить подделку может только эксперт — и то лишь в ходе тщательной проверки. Существует немало техник, улучшающих способность моделей к рассуждению: chain-of-thought, self-consistency, tree-of-thought и другие. Однако ни одна из них не даёт гарантии корректности. Это не недостаток конкретных моделей, а прямое следствие метода их построения: модель не учится рассуждать, она представляет собой снимок того, как люди рассуждают в текстах. Знание о мире и способность делать выводы — разные вещи. Люди обычно их различают, и вторая является предметом отдельной науки — формальной логики. Аппарат формальной логики хорошо разработан, и идея применить его для верификации рассуждений LLM лежит на поверхности. Исследователи работают в этом направлении давно; существует целое направление нейросимволических рассуждений — гибрида языковых моделей и формальных методов логического вывода. Вопрос лишь в том, как организовать их взаимодействие. В этой статье я описываю один из способов такой организации, реализованный в открытом проекте Ankyra. Исходный код, документация и все проверки доступны для свободного использования без ограничений. Ключевая идея — не заставить модель рассуждать правильно, а разделить роли: языковая модель предлагает, символический движок решает. Надеюсь, читатель получит от этого текста такое же удовольствие, какое я получил от реализации. Читать далее