Мышеловка, коробок и трубкозуб: как учить мультимодальный ИИ мыслить по-человечески в 66 измерениях
Начнем с небольшого эксперимента. Перед вами три картинки: мышеловка, спичечный коробок и трубкозуб. Какая из них лишняя? Задачка на пару секунд: первые два предмета сделал человек, а третий — живое существо. А теперь попробуем предложить то же самое мультимодальной нейросети. Шансы получить ответ, совпадающий с человеческим, окажутся не такими уж и большими. В эксперименте исследователей модели семейства Qwen3-VL при прямом опросе показывали результат от 37 до 41%. Для сравнения: случайный выбор в такой задаче дает 33,3%. Вы, конечно, возразите: нейросеть создавали не для игры в «Третий лишний». Она разбирает изображения, распознает объекты, работает с текстом и справляется с задачами посложнее. Да и результаты популярных мультимодальных бенчмарков у современных моделей вполне приличные. Только вот умение правильно отвечать на вопросы еще не значит, что модель видит мир так же, как мы. Она узнает и мышеловку, и коробок, и трубкозуба, но лишнее может выбрать по совсем другому признаку. И далеко не факт, что этот признак покажется нам логичным. Это и разбирают авторы исследования Aligning MLLMs with the Latent Structure of Human Cognition. Обычно мультимодальные большие языковые модели (MLLM) учат выдавать ответы, которые нравятся людям. Ученые предлагают встроить в процесс обучения реальные закономерности человеческого восприятия. Для этого исследователи взяли данные масштабного психофизического эксперимента, где миллионы человеческих суждений сведены к 66 смысловым измерениям, и построили на них фреймворк CogAlign. Его задача — изменить сам подход к обучению нейросетей: учить модель тем основаниям, по которым выбирает человек. Разберемся, как это устроено. Читать далее
