WebPageBench: веб-среда для оценки агентов
Веб-агент сообщил «готово» — а сделал ли? На живых сайтах это не проверить: контент меняется, а судить приходится либо по словам самого агента, либо через LLM-судью, который тоже ошибается. Мы выпускаем WebPageBench — открытый бенчмарк из 152 задач на шести имитациях популярных российских сервисов (от покупок на маркетплейсах до бронирования билетов на поезд). В комплекте локальная среда, в которой любой агент запускается одной командой, и публичный рейтинг, в котором представлено 24 связки «модель + обвязка», а по результатом которого видно, что агенты зачастую сильно завышают свои результаты. Код и задачи лежат в репозитории , рейтинговая таблица — на Hugging Face , препринт статьи — на arXiv . Ниже расскажем, зачем мы это сделали, как бенчмарк устроен, что уже видно по результатам и как запустить его у себя. Читать далее