Depository of News

Аудит ИИ-агентов: два подхода к проверке надежности

habrahabr.ru · world

Как проверять агентов, которые действуют: записывают, бронируют, начисляют, отгружают Пока языковая модель только отвечает на вопросы, ее ошибка остается текстом. Человек читает ответ, сомневается, перепроверяет. Агент с вызовом функций устроен иначе, между его решением и последствием часто нет проверки оператора. Вызов функции отгрузки уже отгрузил заказ, вызов функции начисления уже начислил скидку. Ошибка агента становится действием со степенью риска. В 2026 году появились две работы, которые подходят к проверке таких агентов с разных сторон. Группа из Принстонского университета (Rabanser, Kapoor, Narayanan и соавторы) предложила измерять надежность агента как многомерный профиль поведения. Мы предложили методологию, которая ищет конкретные места, где агент совершает действие без основания, и показывает их на карте с точным адресом: какое условие, какая подача поручения. Ниже мы объясняем, почему проверка агентов с реальным действием – отдельная задача, разбираем оба подхода и показываем, как они складываются в один аудит. Читать далее

Read full article →