Runtime-контроль ИИ-агентов: единица контроля не модель, а действие
<img src="https://habrastorage.org/getpro/habr/upload_files/aeb/2fb/4fb/aeb2fb4fbe4d3298c7de8ee1fd667854.jpg" /><p>Пока рынок спорил, достаточно ли «умного» фильтра на промпт, агенты уже начали вызывать инструменты, ходить в MCP, трогать платёжные API и уносить ключи с рабочих станций. Для нас это был момент, когда защита модели перестала быть достаточным контуром. Промпт можно инспектировать, но действие нужно останавливать <strong>до</strong> исполнения.</p><p>В этой статье опишем рабочую модель runtime-контроля, расскажем как устроен контур, который видит эксплуатация: где перехватывается вызов, как компилируется политика, какой вердикт выносится до исполнения действия и почему <strong>«нашли всех агентов» ещё не равно «контролируем агентов»</strong>.</p><p>За агентом всегда есть контур сущностей: скиллы и расширения, MCP-серверы и их инструменты, модели, машины и эндпоинты, сессии, инструменты вызова (tool-call), обращения в сеть, граф межагентного взаимодействия.</p><p>Если сотрудник с ноутбука вышел за контролируемый перечень ИИ-моделей и сходил во внешнюю LLM – это тоже событие контура, которое попадает в блок «теневого» ИИ (Shadow AI). Чтобы это было контролируемо – нужно понимать, что происходит на рабочей станции сотрудника. Без агента на хосте остаётся только то, что проходит через шлюз.</p> <a href="https://habr.com/ru/articles/1080536/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1080536#habracut">Читать далее</a>