Depository of News

Нужен ли собственный шлюз поверх OpenAI API BotHub

habrahabr.ru · tech

Если вы пользуетесь API моделей, то могли столкнуться с вопросом — прямой вызов API через OpenAI-совместимый шлюз или создать свою прослойку? Если у вас один агент или один разработчик — то тут, понятное дело, лучше не городить лишний шлюз. Но если система больше? Сотрудников несколько, нужен сбор статистики, аккаунты, валидация или ограничения — то тут уже стоит задуматься о создании своего шлюза поверх провайдера. Эта некая прослойка между вашим кодом и API провайдера, которая держит ключи, решает, куда и с какой моделью уйдёт запрос, повторяет упавшие вызовы, считает токены и деньги, а заодно пишет логи так, чтобы через месяц можно было разобраться, что вообще произошло. Звучит солидно. Так ли это — мы узнаем в этой статье. Я расскажу о том, какие фичи может принести свой шлюз, какие ограничения создаст, и как сделать всё это эффективно. Код в статье будет, но он не главная часть статьи, примеры будут приведены на Python. Читать далее

Read full article →