Paritok: как снизить расходы на токены агента
Paritok сжимает файлы, вывод инструментов и историю запросов перед отправкой в API. Проект заявляет сокращение объема токенов на 74%. Узнайте механизм и точку окупаемости.
Что Paritok делает с запросом
Paritok — это токен-шлюз: прокси, который располагается между вашим агентом разработки и API модели и сжимает каждый запрос перед его пересылкой. Ваш агент взаимодействует с http://127.0.0.1:8080 вместо провайдера. Прокси уменьшает схемы инструментов, прочитанные файлы, вывод инструментов и предыдущие итерации диалога, отправляет сокращенные данные вышестоящему узлу и возвращает ответ в исходном виде.
Провайдер выставляет счет за объем данных, который поступил на его сторону, поэтому меньший объем данных означает меньший счет. В этом заключается основная идея. Это утверждение отличается от «ваш контекст длится дольше», и именно поэтому данный инструмент представляет интерес, а не просто является средством для наведения порядка.
Проект находится на ранней стадии. Его первые публичные теги датированы июлем 2026 года, а самый новый тег на 12 октября 2026 года — v1.3.14 от 6 октября 2026 года, что на четырнадцать релизов позже v1.3.0 от 5 августа. Веса и код шлюза распространяются по лицензии Apache 2.0. Модель сжатия представляет собой адаптер LoRA (low-rank adaptation) для Qwen3-4B-Instruct-2507, дистиллированный из набора 45,000 сегментов, взятых из реальных траекторий работы агентов разработки, из которых 40,606 прошли проверку учителем и стали обучающими примерами.
Почему это не обрезка контекста
Обрезка удаляет данные безвозвратно. Когда агент приближается к лимиту контекста и отбрасывает самые старые сообщения, файл, прочитанный на шаге 3, исчезает. Если этот файл понадобится на шаге 20, агенту придется читать его заново, поэтому вы оплачиваете эти токены второй раз. Экономия была лишь временной.
Paritok заменяет сегмент более короткой формой с тегом [REF:id] и сохраняет полный текст на прокси-сервере. Модель восстанавливает сегмент вызовом read_original или expand_context. Это меняет характер сбоев. Обрезка приводит к забыванию, о котором система не сообщает. Сжатие приводит к тому, что модель получает фрагмент с потерей данных, но модель может запросить оригинал, если фрагмента недостаточно.
Фильтр инструментов работает аналогично. Отфильтрованные схемы инструментов заменяются заглушками, а не удаляются, и модель восстанавливает нужную схему вызовом gateway_search_tools. Это важно, так как фильтр, который навсегда скрывает инструмент, меняет возможности вашего агента, и вы узнали бы об этом только после того, как задача тихо завершилась бы ошибкой.
Три рычага и один бесплатный
Первый рычаг — фильтр схемы инструментов. Каждый запрос содержит весь массив tools. При работе Claude Code с несколькими подключенными серверами MCP (model context protocol) этот блок занимает примерно 29,000 токенов. Фильтр выполняет эмбеддинг запроса пользователя и описания каждого инструмента с помощью BAAI/bge-small-en-v1.5 (модель эмбеддинга объемом 130 МБ), оставляет подходящие инструменты, а остальные заменяет заглушками. Размер блока сокращается примерно до 8,000 токенов. Эта модель эмбеддинга работает на CPU.
Второй рычаг — сжатие контента, и именно для этой части требуется модель 4B на GPU. Чтение файлов, вывод инструментов и история сокращаются до 25.7% от исходного размера. Модель не переписывает их. Она работает методом экстракции: выбирает важные фрагменты и удаляет остальное. Согласно документации проекта, 96.0% идентификаторов, путей и чисел, которые она выдает, присутствуют во входных данных дословно. Именно отсюда берется показатель 74%. Читайте внимательно: 74% — это коэффициент сжатия для обрабатываемого контента, а не экономия ваших расходов.
Третий рычаг — суммаризация истории. Как только бюджет контекста исчерпан, сообщения, выходящие за пределы недавнего окна, суммируются. Это позволяет продолжать длинную сессию, не достигая лимита.
Только для второго рычага требуется GPU. Это самое полезное предложение на данной странице. pip install "paritok[toolselect]" предоставляет фильтр инструментов на обычном CPU VPS, и это та часть продукта, которая не требует ежемесячной оплаты. Попробуйте ее, прежде чем арендовать видеокарту.
Что измерял проект и на каком стенде
Данные, на которых построен график
[
{
"label": "Paritok-4B-v1",
"compressed_to_pct": 25.7,
"quality_retained_pct": 86.5
},
{
"label": "gpt-4.1-mini",
"compressed_to_pct": 50.2,
"quality_retained_pct": 85.6
},
{
"label": "gpt-5",
"compressed_to_pct": 61.9,
"quality_retained_pct": 93.6
}
]Это опубликованные показатели самого проекта, измеренные на его собственном стенде с использованием SWE-bench Lite. Paritok-4B-v1 сжимает контент до 25.7% от исходного размера, сохраняя при этом 86.5% от исходного уровня успешного решения задач. Использование gpt-5 в качестве компрессора позволяет сохранить больше качества, 93.6%, но сжатие составляет лишь 61.9%, при этом вы будете платить по ценам моделей передового уровня, чтобы сэкономить на тех же ценах.
Оценивайте столбец качества объективно. Сохранение 86.5% уровня успешных решений означает, что сжатые запуски провалили задачи, которые были решены без сжатия — это почти одно нерешенное задание из семи. В рамках бенчмарка это просто число в таблице. В вашем репозитории это задача, которую вы запускаете дважды.
Данные, на которых построен график
[
{
"label": "Turn 1",
"saved_pct": 25
},
{
"label": "Turn 5",
"saved_pct": 39
},
{
"label": "Turn 12",
"saved_pct": 57
},
{
"label": "Turn 20",
"saved_pct": 63
}
]Сквозная экономия растет по мере выполнения сессии, так как история накапливается, а сжатию подвергается именно она. Проект сообщает о примерно 25% экономии на одном шаге, 39% к 5-му шагу и 63% к 20-му шагу. Измерены только шаги с 1 по 5; в README последующие строки обозначены как прогнозы. Также указано, где рост прекращается: при бюджете в 200,000 токенов абсолютная экономия стабилизируется на уровне около 48,000 токенов за шаг, где-то между 8-м и 12-м шагом, поскольку после заполнения контекста история перестает расти. Часто цитируемая цифра «более 85%» описывает сессии с переполненным контекстом. Это лучший сценарий, и тот же README указывает, что экономия выходит на плато с пределом около 72% при настройках по умолчанию, поэтому не стоит строить планы исходя из более высоких значений.
Окупается ли GPU с 24 GB для Paritok?
Карта с 24 GB — это стандартная единица аренды для модели такого размера. По состоянию на 7 августа 2026 года медианная опубликованная ставка по запросу для RTX 4090 с 24 GB составляет $0.44 в час, при этом самые дешевые предложения близки к $0.20. Возьмем $0.44. Если оставить её включенной на весь месяц, это 730 часов, то есть $321. Если запускать только в рабочее время, по 8 часов в день в течение 22 дней, получится 176 часов, то есть $77.
Теперь переведем сокращение токенов в денежный эквивалент. Сокращение применяется к входным токенам. Выходные токены проходят через прокси без изменений, поэтому их стоимость не меняется. Предположим, что входные токены составляют 80% от вашего счета, что является нормой для агента-программиста, и проверьте это предположение по своему счету. Ваша экономия в долларах — это сокращение количества токенов, умноженное на 0.8.
Данные, на которых построен график
[
{
"label": "Turn 5 (39% saved)",
"bill_always_on_usd": "1,030",
"bill_workday_only_usd": 248
},
{
"label": "Turn 20 (63% saved)",
"bill_always_on_usd": 637,
"bill_workday_only_usd": 154
},
{
"label": "Saturated (85% saved)",
"bill_always_on_usd": 472,
"bill_workday_only_usd": 114
}
]При показателе насыщенной сессии в 85% вы экономите 68% счета и продолжаете платить 32%, поэтому карта, оставленная включенной, окупается, как только ваши ежемесячные расходы на агента превышают примерно $472, или около $114, если вы останавливаете инстанс вне рабочих часов. При показателе turn-20 в 63% эти значения составляют $637 и $154. При показателе turn-5 в 39%, что соответствует коротким сессиям, вам нужно тратить около $1,030 в месяц, прежде чем аренду карты вообще можно будет считать целесообразной.
Два фактора делают ситуацию лучше, чем предполагает таблица. Модели не требуется 24 GB: сборка q4 занимает около 2.5 GB, а сборка f16 — около 8 GB, поэтому использование карты меньшего объема или GPU-сервера, который вы уже используете для других задач, снижает каждое число в этой таблице. А остановка инстанса, когда никто не программирует, — это самый эффективный рычаг, так как он сокращает расходы на аренду примерно на три четверти.
Один фактор делает ситуацию хуже. Процесс сжатия — это реальная вычислительная работа. Каждый токен, который сжимает модель 4B, — это токен, который она должна прочитать, а каждый сохраненный фрагмент — это то, что она должна записать обратно, что увеличивает задержку на каждом шаге агента. На карте, которую вы арендуете почасово, эти затраты проявляются в виде ожидания, а не строчки в счете, поэтому их легко упустить из виду, пока вы их не почувствуете.
Если вы сравниваете арендованные часы GPU с API-токенами в целом, точка безубыточности между GPU VPS и API-токенами использует ту же арифметику для самого процесса инференса.
Запуск шлюза Paritok на VPS
Метаданные пакета на PyPI допускают использование Python 3.10 или новее, хотя значок в README указывает на 3.11+. Ubuntu 24.04 поставляется с Python 3.12, поэтому стандартного образа VPS достаточно для работы версии, использующей только CPU.
sudo apt update && sudo apt install -y python3-venv curl
python3 -m venv /opt/paritok/venv
source /opt/paritok/venv/bin/activate
pip install "paritok[proxy]==1.3.14"
pip install "paritok[toolselect]==1.3.14"Зафиксируйте версию. С момента выпуска v1.3.0 от 5 августа 2026 года в репозитории вышло четырнадцать релизов, последний из которых — v1.3.14 от 6 октября 2026 года. Проект развивается быстро, и между релизами меняются названия: в версии v1.3.0 был переименован expand_context в read_original в API. Обычный pip install paritok или git clone пакета main на следующей неделе предоставит вам другой шлюз, и вы не сможете отследить, какая именно версия выдала полученные вами результаты.
Бэкендом по умолчанию является Ollama. Загрузите модель, а затем укажите короткое имя, которое ожидает прокси.
ollama pull paritok/paritok-4b-v1
ollama cp paritok/paritok-4b-v1 paritok-4b-v1Поскольку локальная модель записывает диапазоны (spans), которые она сохраняет для каждого сжатого сегмента, длительный процесс сжатия выглядит как зависший ход агента, а ограничение num_predict в Ollama на длину вывода — это параметр, который его ограничивает.
Укажите рядом paritok.yaml. use_gpu_server: false — это то, что удерживает сжатие на вашем собственном оборудовании.
use_gpu_server: false
local_model:
base_url: http://localhost:11434paritok proxy --port 8080 --config-file paritok.yamlparitok up — это сокращение для всех вышеперечисленных действий: команда загружает модель, если она отсутствует, и запускает прокси на порту 8080. Проверьте прокси перед тем, как направлять на него агента.
curl http://127.0.0.1:8080/health
curl http://127.0.0.1:8080/stats/health возвращает небольшой JSON-объект, содержащий "status":"ok" и строку версии. /stats возвращает общие показатели сжатия и собственную оценку прокси по объему сэкономленных данных. Воспринимайте эту оценку как самопроверку прокси и сверяйте её со страницей использования у вашего провайдера.
Для обеспечения пропускной способности, а не удобства, vLLM обслуживает адаптер поверх базовой модели.
vllm serve Qwen/Qwen3-4B-Instruct-2507 \
--enable-lora \
--lora-modules paritok-4b-v1=paritok/paritok-4b-v1 \
--max-lora-rank 32 \
--port 8000Флаг --max-lora-rank 32 используется в собственной команде проекта, так как адаптер имеет ранг 32. Затем установите local_model.base_url в значение http://localhost:8000/v1 в файле paritok.yaml, чтобы прокси взаимодействовал с vLLM вместо Ollama.
Ollama быстрее разворачивается. vLLM значительно лучше справляется с параллельными запросами, что становится важным, как только один сервер используют несколько агентов. Практическая разница между Ollama и vLLM поможет вам сделать выбор.
Укажите агенту адрес прокси через переменные окружения базового URL.
export ANTHROPIC_BASE_URL=http://127.0.0.1:8080
export OPENAI_BASE_URL=http://127.0.0.1:8080Codex CLI игнорирует OPENAI_BASE_URL, поэтому paritok up записывает ~/.codex/config.toml за вас, когда codex.enabled: true задан в paritok.yaml. Если просто экспортировать переменную, Codex продолжит обращаться напрямую к провайдеру; признаком этого является счетчик /stats, который не меняется во время вашей работы.
Слушайте запросы только на 127.0.0.1, никогда на 0.0.0.0. Прокси пересылает ваш API-ключ провайдера вышестоящему узлу, поэтому прокси, доступный из Интернета, становится открытым релеем для этого ключа: любой, кто обнаружит порт, потратит ваши деньги, даже не видя самого ключа. Подключайтесь к нему с ноутбука через SSH-туннель или VPN, вместо того чтобы открывать порт наружу.
Запустите его через systemd, чтобы сервис восстанавливался после перезагрузки. Настройте пути в соответствии с вашей установкой. Создайте пользователя paritok, от имени которого будет работать юнит, и предоставьте ему доступ к каталогу установки:
sudo useradd --system --home-dir /opt/paritok --shell /usr/sbin/nologin paritok
sudo chown -R paritok:paritok /opt/paritok[Unit]
Description=Paritok compression proxy
After=network-online.target
[Service]
User=paritok
WorkingDirectory=/opt/paritok
ExecStart=/opt/paritok/venv/bin/paritok proxy --port 8080 --config-file /opt/paritok/paritok.yaml
Restart=on-failure
[Install]
WantedBy=multi-user.targetВключите сервис с помощью sudo systemctl enable --now paritok, затем снова выполните curl /health. Если юнит запускается и сразу завершает работу, это обычно означает, что путь к файлу конфигурации указан неверно, а journalctl -u paritok -n 50 выведет причину ошибки.
Размещаемый вариант и его стоимость
Проект также предлагает сжатие как услугу. Установите use_gpu_server: true с API-ключом от paritok.com, и модель 4B будет работать на их оборудовании. По состоянию на 12 октября 2026 года стоимость составляет $0.30 за миллион токенов сжатых файлов, которые списываются с предоплаченного баланса; фильтрация tool-schema бесплатна. Новые учетные записи получают $5 в качестве бесплатного кредита без необходимости привязки карты. Период запуска, в течение которого размещаемый сервис был бесплатным, завершился 1 октября 2026 года, поэтому теперь это платная услуга. Это избавляет вас от аренды GPU и всех вышеописанных эксплуатационных задач.
Это также означает, что ваши промпты и файлы, которые считывает ваш агент, покидают вашу машину и попадают к третьей стороне, прежде чем достигнут провайдера вашей модели. Self-hosting существует именно для того, чтобы избежать этого промежуточного звена. Решите, что для вас важнее, прежде чем устанавливать этот флаг, так как изменение флага занимает одну строку, а последствия — нет.
Как оценить результаты до и после
Опубликованные цифры — это показатели проекта, полученные в ходе тестирования на SWE-bench Lite. Ваш репозиторий — это не SWE-bench Lite. Проведите собственные измерения.
- Отработайте одну обычную неделю без прокси в цепочке запросов. Запишите количество входных токенов (input tokens), токенов из кэша (cache-read tokens) и выходных токенов (output tokens) отдельными строками из страницы статистики вашего провайдера, а не общей суммой в долларах.
- Отработайте следующую неделю с прокси перед сервисом, выполняя тот же объем работы.
- Сравните строки входных токенов и токенов из кэша. Количество выходных токенов должно остаться примерно на том же уровне, так как прокси их не сжимает. Если объем выходных данных сильно изменился, значит, помимо прокси, изменилось что-то еще.
- Подсчитайте количество задач, которые пришлось переделывать. Это качественная сторона вопроса, и ни одна панель мониторинга не показывает эти данные.
- Добавьте затраты на GPU-часы ко второй неделе перед сравнением итоговых сумм.
Разделение входных и выходных токенов важно, так как они имеют разную стоимость, а компрессор воздействует только на одну из этих категорий. По состоянию на 12 октября 2026 года Claude Sonnet 4.6 стоит $3 за миллион входных токенов и $15 за миллион выходных токенов, а чтение из кэша промптов обходится в 10% от стоимости входных токенов — $0.30 за миллион. Более новая модель Claude Sonnet 5.5 стоит $2 и $10 соответственно, а чтение из кэша составляет 5% от стоимости входных токенов — $0.10 за миллион. Разница в стоимости входных и выходных токенов определяет, будет ли для вас выгоден компрессор на стороне ввода. Куда на самом деле уходят токены Claude Code поможет понять, какая часть вашего контекста достаточно велика, чтобы ее стоило сжимать.
Кэширование промптов (prompt caching) особенно усложняет расчеты при фильтрации инструментов. Блок инструментов находится в начале запроса, поэтому после первого обращения он обычно попадает в кэш и оплачивается по ставке 10% от стоимости входных токенов. Удаление 21,000 токенов из кэшированного блока экономит 21,000 по цене $0.30 за миллион, что составляет около $0.006 за запрос, а не $0.063, как можно было бы предположить исходя из стоимости некэшированных токенов. Проект сохраняет отфильтрованный блок неизменным на протяжении всей сессии, чтобы кэшированный префикс не менялся. Фильтр, который заново выбирал бы инструменты на каждом шаге, привел бы к инвалидации префикса и стоил бы дороже, чем сэкономленные ресурсы.
Что еще не подтверждено
Все приведенные выше показатели производительности взяты из самого проекта. Независимого воспроизведения результатов SWE-bench Lite не существует, а учитывая, что первые теги датированы июлем 2026 года, у кода практически отсутствует история эксплуатации. Коэффициент сжатия и показатель сохранности качества измерены стороной, которая заинтересована в их высоких значениях. Это не означает, что они неверны. Это означает, что они не подтверждены, и к ним следует относиться иначе, чем к данным, полученным вами самостоятельно.
Перед тем как винить в проблемах свою конфигурацию, стоит учесть одну задокументированную особенность. Модель эмбеддингов, используемая инструментом фильтрации, загружается при первом запросе, а не при запуске. Поэтому в документации проекта указано время прогрева от 10 до 15 секунд, после чего время отклика составляет около 15 мс на вызов. Отправьте один тестовый запрос после запуска прокси, и ваш первый реальный шаг агента не будет выглядеть зависшим.
Четыре вещи, которые вы можете проверить самостоятельно за один вечер: запускается ли прокси и остается ли он активным, меняется ли /stats в процессе работы, действительно ли снижается количество входных токенов у вашего провайдера и продолжает ли агент выполнять работу. Для вашей конфигурации эти проверки значат гораздо больше, чем любые опубликованные бенчмарки.
О том, как это решение соотносится с вашими остальными инструментами: self-hosted LiteLLM gateway маршрутизирует и учитывает запросы, не изменяя их содержимое, поэтому эти два решения закрывают разные задачи и могут использоваться совместно, при этом Paritok должен располагаться ближе всего к агенту. Если ваша реальная цель — сокращение расходов, а не использование именно этого инструмента, то широкий набор методов контроля затрат для агента на VPS включает несколько изменений, которые можно попробовать бесплатно в первую очередь.
FAQ
Снижает ли Paritok счет за API или только объем используемого контекста?
Он снижает счет, так как прокси уменьшает запрос до того, как он достигнет провайдера, а провайдер выставляет счет за полученные данные. Размер этого сокращения меньше, чем может показаться из заголовков. Цифра 74% — это степень сжатия контента, который подвергается сжатию. В сквозном режиме проект сообщает о 25% экономии на одном шаге и прогнозирует 63% к 20-му шагу, при этом учитываются только входные токены. Выходные токены проходят без изменений.
Сколько видеопамяти (GPU) нужно для самостоятельного хостинга модели сжатия?
Сборка q4 занимает около 2.5 GB, а сборка f16 — около 8 GB, поэтому модель помещается на карту с 24 GB с большим запасом. Подойдет и карта меньшего объема, что изменит расчет окупаемости в вашу пользу. Фильтр схем инструментов (tool-schema) вообще не требует GPU: он использует BAAI/bge-small-en-v1.5, модель эмбеддингов размером 130 MB, которая работает на CPU. Установите paritok[toolselect] на обычный VPS, и вы получите сокращение блоков инструментов ценой небольшого объема RAM.
Что произойдет, если компрессор удалит то, что было нужно агенту?
Ничего не теряется безвозвратно. Модель удаляет фрагменты из того, что пересылается, но сжатые сегменты помечаются тегом [REF:id], и модель восстанавливает полный текст с помощью read_original или expand_context. Отфильтрованные схемы инструментов заменяются заглушками, а не удаляются, и модель восстанавливает их с помощью gateway_search_tools. Реальный риск менее заметен, чем отсутствие файла: модель работает с фрагментом с потерями и может не осознать, что ей нужно запросить оригинал. Именно это измеряет показатель сохранения качества 86.5% на SWE-bench Lite.
Почему мой первый запрос выполняется пятнадцать секунд?
Модель эмбеддингов, стоящая за фильтром инструментов, загружается при первом запросе, а не при запуске. В документации проекта указано время прогрева от 10 до 15 секунд, после чего каждый вызов занимает примерно 15 мс. Отправьте один тестовый запрос с помощью curl после запуска прокси, и первый реальный шаг агента не будет задерживаться.
Стоит ли использовать облачный GPU-сервер вместо самостоятельного хостинга?
Это избавляет от аренды GPU и обслуживания. По состоянию на 12 октября 2026 года стоимость составляет $0.30 за миллион сжатых токенов файлов, оплачиваемых с предоплаченного баланса, с $5 бесплатного кредита для новых аккаунтов; бесплатный период запуска закончился 1 октября 2026 года. Это также отправляет ваши промпты и файлы, которые читает агент, третьей стороне до того, как они достигнут вашего провайдера моделей. Если вы используете самостоятельный хостинг, чтобы хранить код на инфраструктуре под вашим контролем, эта настройка сводит на нет причину, по которой вы начали. Самостоятельный хостинг позволяет хранить и контекст, и API-ключ провайдера на вашем собственном оборудовании.