От десятка подписок к единому шлюзу LiteLLM: что пошло не по плану
<img src="https://habrastorage.org/getpro/habr/upload_files/d1e/df5/f45/d1edf5f4533153c40c9f3f415e69f92e.png" /><p>Привет! Я Владимир Мокроусов, сисадмин <a href="https://cynteka.ru/">в группе компаний «Синтека».</a> Мы создаем софт для строительной отрасли и активно используем в работе ИИ-модели. </p><p>Недавно мы сделали единый доступ к моделям на базе LiteLLM. В статье расскажу, как собрали эту схему, на какие грабли наступили с лимитами и блокировками и что пришлось контролировать, чтобы всё работало.</p> <a href="https://habr.com/ru/articles/1078172/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1078172#habracut">Читать далее</a>