200 OK от гейтвея ничего не значит
<img src="https://habrastorage.org/getpro/habr/upload_files/d2f/72f/2ec/d2f72f2ec8d9e71b32583feaaac0e9f5.png" /><p>Обычная HTTP-проверка может показывать, что ИИ-сервис работает, хотя его пользователи уже не получают ответы. Эндпоинт доступен, гейтвей на месте, но до самой модели проверка не доходит.</p><p>Привет, Хабр! Меня зовут Михаил Шпаков, я развиваю <a href="https://statuser.cloud/?utm_source=habr&utm_medium=article&utm_campaign=llm-monitoring&utm_content=intro">Statuser</a> — сервис мониторинга доступности сайтов. Раньше я рассказывал, <a href="https://habr.com/ru/companies/timeweb/articles/914594/">как он появился</a> и <a href="https://habr.com/ru/companies/timeweb/articles/1057884/">что я узнал за год, мониторя 6 500 сайтов</a>.</p><p>Недавно мне написал пользователь Statuser. В его продукте модель разбирала обращения клиентов и готовила для операторов черновики ответов. В какой-то момент эта функция перестала работать, хотя обычный HTTP-монитор, настроенный на адрес ИИ-гейтвея, продолжал показывать зелёный статус. О проблеме сообщили операторы поддержки, а не мониторинг.</p><p>Причина оказалась простой: провайдер снял выбранную модель с обслуживания, но сам гейтвей продолжал работать. HTTP-монитор проверял его обычным GET-запросом и получал успешный ответ. Запрос на генерацию он не отправлял, поэтому состояние конкретной модели не видел.</p><p>Диагностировать такой сбой нетрудно, если уже известно, куда смотреть. Заметить его начало сложнее: между доступным гейтвеем и работающей функцией продукта есть ещё один слой — сама модель, и до него обычная проверка не доходит. Когда модель перестаёт отвечать, сервис целиком обычно не падает. Пропадает одна функция: подсказки, разбор обращений, ответы в чате.</p><p>После этого случая я понял, что не хватает отдельного типа мониторинга. Он должен не просто обращаться к адресу гейтвея, а отправлять настоящий запрос выбранной модели и проверять её ответ. Так в Statuser появился мониторинг ИИ-моделей.</p> <a href="https://habr.com/ru/articles/1079144/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1079144#habracut">Читать далее</a>