Как работают токены — снова махинации с лимитами
OpenAI и Anthropic грешат одним — постоянно меняют лимиты, которые входят в подписки. Причём официально эти объёмы они не публикуют, а значит, могут крутить их как хотят. Устав от этой неразберихи, я решил, что хочу уменьшить расход токенов. При этом вряд ли я был первым с такой гениальной идеей. Для этого уже были инструменты. Я нашёл три основных — rtk, Headroom и ripwire. Всё завелось достаточно просто, я радовался тому, насколько дольше стало хватать токенов, ещё и друзьям писал — ставьте эти инструменты! И примерно два месяца так и жил. Потом я решил собрать отчёт, сколько же расходов у меня получилось в баксах. Как бы выразиться помягче, мне не очень понравилось то, что я увидел. Для понимания, я построил тестовый стенд, и на 30 задачах SWE-bench счёт с этой троицей вырос на 18%, ещё раз — вырос, не упал. На повторе моих реальных рабочих сессий — на 46%. rtk за всё время не сжал ни одного вызова из 3 452. ripwire агент тупо, попросту, мать его, не вызывал! Он не вызвал его ни разу! А Headroom одну мою сессию сделал дороже в 2.4 раза. От таких невероятных новостей мои глаза полезли на лоб, и я закопался в это дело ещё глубже. Это ещё и при том, что у rtk 84 тысячи звёзд на GitHub, у Headroom 77 тысяч, и оба обещают срезать токены на 60-90% и больше. Но самое смешное даже не это. 22 июля JetBrains опубликовали свой замер rtk. В этот же день авторы rtk тихо УДАЛИЛИ из README свою знаменитую таблицу «118 тысяч токенов → 24 тысячи». И в описании коммита сами назвали её выдуманной. Читать далее
