SSD Nodes Learn Hosting plans →
Посібники Matt ConnorВід Matt Connor

Paritok: чи справді token gateway здешевлює agent

Paritok стискає читання файлів і результати інструментів для coding agent. Проєкт заявляє на 74% менше tokens: механізм і розрахунок окупності.

Що Paritok робить із запитом

Paritok — це token gateway: проксі, розташований між вашим coding agent і model API, який стискає кожен запит перед передаванням далі. Ваш agent взаємодіє з http://127.0.0.1:8080, а не безпосередньо з provider. Проксі стискає схеми інструментів, читання файлів, результат роботи інструментів і попередні повідомлення, надсилає зменшене корисне навантаження upstream і повертає відповідь без змін.

Provider виставляє рахунок за дані, які надходять до нього, але сума залежить від того, які tokens було видалено, від ціни кешування та від кількості ходів agent. У цьому полягає вся ідея. Це інше твердження, ніж «ваш контекст зберігається довше», і саме тому цей інструмент цікавий, а не просто зручний.

Проєкт молодий. Gateway опубліковано як open source 15 July 2026, а PyPI датуює v1.3.14 6 October 2026, а v1.3.0 — 5 August. Weights і код gateway поширюються за ліцензією Apache 2.0. Модель стиснення — це адаптер LoRA (low-rank adaptation) для Qwen3-4B-Instruct-2507, дистильований із набору 45,000 сегментів, отриманих із реальних траєкторій coding agent. Із них 40,606 пройшли teacher validation і стали навчальними прикладами.

Чому це не обрізання контексту

Обрізання видаляє дані назавжди. Коли агент наближається до ліміту контексту й відкидає найстаріші ходи, файл, який він прочитав на ході 3, зникає. Якщо цей файл знадобиться на ході 20, агент прочитає його знову, і ви вдруге заплатите за ці токени. Заощадження було лише позикою.

Paritok замінює сегмент коротшою формою з тегом [REF:id] і зберігає повний текст на проксі. Модель відновлює сегмент, викликаючи read_original або expand_context. Це змінює характер помилки. Засіб обрізання помиляється через забування і ніколи не повідомляє про це. Засіб стиснення помиляється, передаючи моделі фрагмент із втратою даних, а модель може запросити оригінал, якщо фрагмента недостатньо.

Відфільтровані схеми інструментів можна відновити, але стандартний adaptive filter за замовчуванням відкидає невибрані стандартні інструменти та невибрані MCP tools, якщо не спрацьовує його сигнал релевантності MCP. Якщо сигнал спрацьовує, невибрані MCP tools замінюються на заглушки. gateway_search_tools підтримує відновлення, а gateway також виявляє повідомлення про відсутні інструменти й додає відповідні інструменти перед повторною спробою. Це важливо, оскільки фільтр, який назавжди приховує інструмент, змінює можливості агента, а ви дізнаєтеся про це лише через завдання, яке непомітно завершилося неправильно.

Три важелі та один безкоштовний

Перший важіль — фільтр схем інструментів. Кожен запит містить повний масив tools. Під час сеансу Claude Code без підключених серверів MCP (model context protocol) цей блок у проєкті займає приблизно 29,000 токенів. За підключених MCP він займає від 44,000 до 65,000 токенів. Фільтр кодує запит користувача й опис кожного інструмента за допомогою BAAI/bge-small-en-v1.5 — моделі для створення embedding розміром 130 MB. Він залишає інструменти, що відповідають запиту, вилучає невибрані стандартні інструменти та створює заглушки для невибраних MCP-інструментів лише тоді, коли спрацьовує сигнал релевантності MCP. В іншому разі ці MCP-інструменти також вилучаються. У прикладі проєкту блок обсягом 29,000 токенів скорочується приблизно до 8,000 токенів. Ця embedding-модель працює на CPU.

Другий важіль — стиснення вмісту. Саме ця частина використовує модель 4B на GPU або через Ollama на CPU. Читання файлів, вивід інструментів і історія скорочуються до 25.7% початкового обсягу. Модель переважно вибирає фрагменти, а не переписує їх. Обмежене переписування дозволене для такого вмісту, як підсумки міркувань і службове оформлення викликів інструментів. У статті проєкту зазначено, що в навчальному корпусі, створеному вчительською моделлю, 96.0% ідентифікаторів, шляхів і чисел у згенерованому виводі дослівно присутні у вхідних даних. Вивід навченої моделі на відкладеній частині SWE-bench Lite отримав 96.2% за тією самою перевіркою. Саме звідси взялася цифра 74%. Уважно прочитайте формулювання: 74% — це коефіцієнт стиснення вмісту, який стискається, а не скорочення вашого рахунку.

Третій важіль — узагальнення історії. За замовчуванням, коли контекст перевищує 80% налаштованого вікна, старіші ходи узагальнюються, а чотири останні ходи залишаються без змін. Завдяки цьому тривалий сеанс продовжує працювати, а не досягає ліміту.

GPU не є обов’язковим для self-hosting. Це найкорисніше речення на цій сторінці. pip install "paritok[toolselect]" дає змогу використовувати фільтр інструментів на звичайному CPU VPS без плати за кожен токен. Спробуйте його, перш ніж орендувати GPU.

Що вимірював проєкт і на якому стенді

ГрафікSWE-bench Lite: compression rate against solve quality retained (project's published figures)
Дані, на яких побудовано графік
[
  {
    "label": "Paritok-4B-v1",
    "compressed_to_pct": 25.7,
    "quality_retained_pct": 86.5
  },
  {
    "label": "gpt-4.1-mini",
    "compressed_to_pct": 50.2,
    "quality_retained_pct": 85.6
  },
  {
    "label": "gpt-5",
    "compressed_to_pct": 61.9,
    "quality_retained_pct": 93.6
  }
]

Це власні опубліковані показники проєкту, виміряні на його власному стенді для SWE-bench Lite. Paritok-4B-v1 стискає вміст до 25.7% початкового розміру, зберігаючи 86.5% початкової частки успішних розв’язань без стиснення. Використання gpt-5 як компресора зберігає більше якості — 93.6%, але стискає лише до 61.9%; отже, ви платили б за frontier-моделі, щоб заощадити на frontier-моделях.

Читайте стовпець якості коректно. Збережена якість — це частка успішних розв’язань компресора, поділена на базову частку успішних розв’язань без стиснення. Збереження 86.5% означає чисте зменшення кількості розв’язаних задач на 13.5% порівняно з базовим показником. Це не означає, що втрачено саме таку частку задач, розв’язаних у базовому режимі, оскільки стиснені запуски можуть розв’язувати також інші задачі. Показник вимірює одноразове розуміння стисненого необробленого коду з вимкненим recall і ввімкненим відновленням редагувань у production-середовищі. Він не вимірює фільтр CPU tool schema або повний багатокроковий gateway.

ГрафікReported input-token saving as a session grows (project's own harness)
Дані, на яких побудовано графік
[
  {
    "label": "Turn 1",
    "saved_pct": 25
  },
  {
    "label": "Turn 5",
    "saved_pct": 39
  },
  {
    "label": "Turn 12",
    "saved_pct": 57
  },
  {
    "label": "Turn 20",
    "saved_pct": 63
  }
]

Економія в end-to-end сценарії зростає впродовж сесії, оскільки накопичується історія, а саме історія стискається. Проєкт повідомляє про приблизно 25% на одному кроці, 39% до кроку 5 і 63% до кроку 20. Виміряно лише кроки від 1 до 5; у README пізніші рядки позначено як прогнози. Там також зазначено, де зростання припиняється: за бюджету 200,000 токенів економія вмісту на один крок вирівнюється приблизно на рівні 48,000 токенів десь між кроками 8 і 12, оскільки після заповнення контексту історія більше не зростає. Окрема економія від tool filter додає приблизно 21,000 токенів на крок, тому прогнозоване сумарне плато становить приблизно 69,000 токенів на крок. Часто цитований показник "понад 85%" описує сесії з повністю заповненим контекстом. Це найкращий сценарій. У тому самому README зазначено, що за стандартних налаштувань економія наближається до граничного рівня близько 72%, тому не плануйте систему, виходячи з показника 85%.

Чи окупається для Paritok GPU на 24 GB?

GPU не є обов’язковим, а модель працює на картах із меншим обсягом пам’яті, ніж 24 GB. Для приблизного розрахунку оренди візьмімо 0.44 USD за годину для карти на 24 GB. Якщо залишити її працювати весь місяць, це 730 годин, тобто 321 USD. Якщо запускати її лише в робочі години — 8 годин на день протягом 22 днів, — це 176 годин, тобто 77 USD.

Тепер перетворіть скорочення кількості токенів на скорочення витрат у доларах. Скорочення стосується вхідних токенів. Вихідні токени проходять через проксі без змін, тому проксі їх не стискає. Окремо розрахуйте вартість нових вхідних токенів, записування в кеш і читання з кешу за тарифами вашого провайдера, а потім порівняйте загальну вартість API до і після змін. Навіть якщо вхідні токени становлять 80% загальної суми у доларах, множення скорочення кількості токенів на 0.8 не визначає фактичну економію у вашому рахунку.

ГрафікMonthly API saving needed to cover an illustrative $0.44/hour card
Дані, на яких побудовано графік
[
  {
    "label": "Always on (730 hours)",
    "required_api_saving_usd": 321.2
  },
  {
    "label": "Workday only (176 hours)",
    "required_api_saving_usd": 77.44
  }
]

GPU, який працює постійно, окупиться, коли виміряна місячна економія на API перевищить $321.2, або $77.44, якщо вимикати інстанс поза робочими годинами. Саме скорочення кількості токенів на 85% не доводить економію 68% у рахунку, тому за ним не можна визначити місячний поріг витрат на агента. Щоб отримати цей поріг, поділіть вартість оренди на виміряну частку економії у рахунку.

Є дві причини, чому результат буде кращим, ніж показано на графіку. Моделі не потрібно 24 GB: збірка q4 займає близько 2.5 GB, а збірка f16 — близько 8 GB. Тому менша карта або GPU-сервер, який ви вже використовуєте для іншого завдання, зменшить усі значення на графіку. Крім того, вимикання інстансу, коли ніхто не пише код, є найефективнішим заходом, оскільки зменшує вартість оренди приблизно на три чверті.

Є один чинник, який погіршує результат. Процес стиснення потребує обчислень. Кожен токен, який стискає модель 4B, вона має прочитати. Кожен фрагмент, який вона зберігає, потрібно записати у вихідні дані. Це збільшує затримку кожного ходу агента. Якщо ви орендуєте карту погодинно, ця вартість проявляється як час очікування, а не як окремий рядок у рахунку. Тому її легко не врахувати, доки ви не відчуєте її на практиці.

Якщо ви загалом порівнюєте оренду GPU за погодинною оплатою з витратами на API-токени, порівняння точки беззбитковості між GPU VPS і API-токенами виконує такий самий розрахунок безпосередньо для inference.

Запуск gateway Paritok на VPS

Метадані пакета на PyPI вказують на Python 3.10 або новішу версію, хоча badge у README зазначає 3.11+. В Ubuntu 24.04 використовується Python 3.12, тому для CPU tool filter достатньо стандартного образу VPS.

sudo apt update && sudo apt install -y python3-venv curl
python3 -m venv /opt/paritok/venv
source /opt/paritok/venv/bin/activate
pip install "paritok[proxy]==1.3.14"
pip install "paritok[toolselect]==1.3.14"

Зафіксуйте версію. На PyPI для v1.3.0 указано дату 5 August 2026, а для v1.3.14 — 6 October 2026. Проєкт із таким темпом змінює назви між релізами: сама v1.3.0 перейменувала expand_context на read_original у своєму API. Окремий pip install paritok або git clone для main наступного тижня надасть вам інший gateway, і ви не матимете запису про те, який саме gateway сформував виміряні показники.

Типовий backend — Ollama. Завантажте model, а потім надайте йому коротке ім’я, якого очікує proxy.

ollama pull paritok/paritok-4b-v1
ollama cp paritok/paritok-4b-v1 paritok-4b-v1

Оскільки локальна model записує spans, які вона зберігає для кожного сегмента під час compression, надто довгий compression pass проявляється як завислий agent turn. Параметр обмеження Ollama num_predict для довжини output задає верхню межу.

Запишіть paritok.yaml поруч із ним. use_gpu_server: false забезпечує виконання compression на вашому власному обладнанні.

use_gpu_server: false
local_model:
  base_url: http://localhost:11434/v1
paritok proxy --port 8080 --config-file paritok.yaml

paritok up — це скорочений варіант завантаження model, якщо її немає, і запуску proxy на порту 8080. Ollama має бути вже встановлена. Перевірте proxy, перш ніж підключати до нього agent.

curl http://127.0.0.1:8080/health
curl http://127.0.0.1:8080/stats

/health повертає невеликий JSON-об’єкт, що містить "status":"ok" і рядок версії. /stats повертає підсумки compression і власну оцінку proxy щодо обсягу зекономлених даних. Сприймайте цю оцінку як самоперевірку proxy і звіряйте її зі сторінкою usage вашого provider.

Якщо важлива пропускна здатність, а не зручність, vLLM обслуговує adapter поверх base model.

vllm serve Qwen/Qwen3-4B-Instruct-2507 \
  --enable-lora \
  --lora-modules paritok-4b-v1=paritok/paritok-4b-v1 \
  --max-lora-rank 32 \
  --port 8000

Прапорець --max-lora-rank 32 використовується у власній команді проєкту, оскільки adapter має rank 32. Потім задайте local_model.base_url як http://localhost:8000/v1 у paritok.yaml, щоб proxy взаємодіяв із vLLM, а не з Ollama.

Ollama швидше розгорнути. vLLM значно краще обробляє паралельні запити. Це стає важливим, щойно один сервер починають спільно використовувати кілька agent. Практична різниця між Ollama і vLLM визначає вибір у цьому випадку.

Спрямуйте agent до proxy за допомогою змінних середовища base URL.

export ANTHROPIC_BASE_URL=http://127.0.0.1:8080
export OPENAI_BASE_URL=http://127.0.0.1:8080

Codex CLI ігнорує OPENAI_BASE_URL, тому paritok up записує для вас ~/.codex/config.toml, коли codex.enabled: true задано в paritok.yaml. Якщо експортувати змінну окремо, Codex продовжить звертатися безпосередньо до provider. Ознака цього — лічильник /stats, який не змінюється під час роботи.

Залишайте listener на 127.0.0.1, а не на 0.0.0.0. Proxy передає upstream облікові дані, надані в кожному запиті. Його неавтентифікований endpoint /stats показує зразки оригінального та стисненого вмісту. Тому listener, доступний з Інтернету, відкриває приватний контекст і локальні ресурси compression. Підключайтеся до нього з laptop через SSH tunnel або VPN, а не відкривайте порт.

Запустіть його під systemd, щоб він переживав перезавантаження. Відкоригуйте шляхи відповідно до вашого встановлення. Створіть користувача paritok, від імені якого працюватиме unit, і надайте йому install directory:

sudo useradd --system --home-dir /opt/paritok --shell /usr/sbin/nologin paritok
sudo chown -R paritok:paritok /opt/paritok
[Unit]
Description=Paritok compression proxy
After=network-online.target

[Service]
User=paritok
WorkingDirectory=/opt/paritok
ExecStart=/opt/paritok/venv/bin/paritok proxy --port 8080 --config-file /opt/paritok/paritok.yaml
Restart=on-failure

[Install]
WantedBy=multi-user.target

Увімкніть його за допомогою sudo systemctl enable --now paritok, а потім знову виконайте curl /health. Якщо unit запускається і одразу завершується, зазвичай це означає неправильний шлях до config file. Команда journalctl -u paritok -n 50 виводить причину.

Хостингова версія та її вартість

Проєкт також надає compression як сервіс. Встановіть use_gpu_server: true, використавши API key із paritok.com, і модель 4B працюватиме на апаратному забезпеченні цього сервісу. Станом на 2 November 2026 сервіс списує $0.30 за кожен мільйон file tokens, які він стискає, із передплаченого кредиту. Фільтрація tool schema безкоштовна. Нові облікові записи отримують $5 безкоштовного кредиту, і банківська картка не потрібна. Період запуску, протягом якого hosted service був безкоштовним, завершився 1 October 2026. Тепер це платний сервіс. Такий підхід усуває потребу самостійно розміщувати compression model, але gateway ви все одно запускаєте самостійно.

Це також означає, що ваші prompts і файли, які читає agent, залишають вашу машину та надходять до третьої сторони, перш ніж потрапити до вашого model provider. Self-hosting існує саме для того, щоб уникнути такого переходу. Перш ніж встановлювати цей flag, визначте, що саме ви оптимізуєте, оскільки flag змінюється в одному рядку, а наслідки цієї зміни — ні.

Як виміряти власні показники до і після

Опубліковані показники стосуються проєкту: їх отримано за допомогою harness проєкту на SWE-bench Lite. Ваш репозиторій не є SWE-bench Lite. Вимірюйте власні показники.

  • Протягом одного звичайного тижня працюйте без proxy у ланцюжку запитів. Окремо запишіть свіжі input tokens, cache-write tokens, cache-read tokens і output tokens зі сторінки usage вашого провайдера, а не лише загальну суму в доларах.
  • Наступного тижня працюйте з proxy перед застосунком, виконуючи той самий тип завдань.
  • Порівняйте категорії input tokens за їхніми фактичними тарифами та врахуйте всі зміни у вартості output tokens. Proxy не стискає output, але зміни в поведінці агента та кількості ходів усе одно впливають на обсяг придбаного output.
  • Порахуйте завдання, які довелося виконати повторно. Це складова якості в цьому компромісі, і жодна панель моніторингу не показує її.
  • Додайте GPU hours до показників другого тижня перед порівнянням підсумків.

Розділяти input і output важливо, оскільки для них діють дуже різні тарифи, а compressor впливає лише на один із них. Станом на 2 November 2026 Claude Sonnet 4.6 коштує $3 за мільйон input tokens і $15 за мільйон output tokens, а читання prompt cache коштує 10% від тарифу input — $0.30 за мільйон. Новіший Claude Sonnet 5.5 коштує $2 і $10 відповідно, а cache reads для нього коштують 5% від тарифу input — $0.10 за мільйон. Різниця у вартості input і output tokens визначає, чи має input-side compressor практичну цінність для вас. Куди насправді спрямовуються tokens у Claude Code показує, яка частина вашого context достатньо велика, щоб її варто було стискати.

Prompt caching особливо ускладнює розрахунок економії від tool filter. Блок tools розташований на початку запиту, тому після першого ходу він зазвичай обслуговується з cache; у Sonnet 4.6 це коштує 10% від ціни input. Видалення 21,000 tokens із кешованого блоку заощаджує 21,000 tokens за тарифом $0.30 за мільйон, тобто приблизно $0.006 за хід, а не $0.063, які випливали б із тарифу для uncached input. Проєкт залишає відфільтрований блок незмінним протягом сесії, тому кешований префікс не змінюється. Фільтр, який щоразу заново обирав би tools, інвалідовував би цей префікс і міг би коштувати дорожче, ніж заощаджував.

Що ще не перевірено

Усі наведені вище показники продуктивності походять безпосередньо від проєкту. Існує незалежна перевірка стиснення на синтетичному корпусі, але вона прямо не перевіряє успішність виконання завдань SWE-bench; показники якості розв’язання SWE-bench Lite, наведені проєктом, залишаються незалежно непідтвердженими. Оскільки gateway було опубліковано як open source у July 2026, цей код також має дуже коротку історію експлуатації. І коефіцієнт стиснення, і показник збереженої якості вимірює сторона, зацікавлена в тому, щоб вони виглядали якомога краще. Це не означає, що вони неправильні. Це означає, що вони не підтверджені, і їх слід сприймати інакше, ніж показник, який ви отримали самостійно.

Перед тим як звинувачувати власну конфігурацію, варто знати про одну задокументовану особливість. Модель embedding, яку використовує фільтр інструмента, завантажується під час першого запиту, а не під час запуску. Тому проєкт зазначає час прогрівання 10 to 15 seconds, після чого обробка одного виклику займає близько 15 ms. Надішліть один тестовий запит після запуску проксі, і перший реальний хід агента не виглядатиме як зависання.

За один день ви можете самостійно перевірити чотири речі: чи запускається проксі й чи продовжує працювати, чи змінюється /stats під час роботи, чи справді зменшується рядок input-token у рахунку вашого провайдера і чи завершує агент роботу. Для вашої конфігурації саме це має значно більше значення, ніж будь-який опублікований benchmark.

Щодо взаємодії з іншими інструментами: self-hosted LiteLLM gateway маршрутизує запити та веде їх облік, не змінюючи їхнього вмісту. Тому ці два інструменти вирішують різні завдання й можуть працювати в ланцюжку, де Paritok розташований найближче до агента. Якщо справжня мета — зменшити рахунок, а не використовувати саме цей інструмент, ширший набір засобів контролю витрат агента на VPS містить кілька змін, які спочатку можна спробувати безкоштовно.

FAQ

Чи зменшує Paritok витрати на API, чи лише використання контексту?

Paritok стискає запит до того, як він надходить до провайдера. Економія залежить від цін на вилучені токени та кількості ходів агента після цього. Масштаб скорочення менший, ніж випливає із заголовкової цифри. Показник 74% — це коефіцієнт стиснення вмісту, який стискається. Для повного циклу проєкт наводить приблизно 25% економії вхідних токенів на одному ході та прогнозує 63% до 20-го ходу. Вихідні токени передаються без змін, але їхня кількість і далі залежить від поведінки агента.

Який GPU потрібен для self-hosted розгортання моделі стиснення?

GPU не обов’язковий: Ollama запускає модель і на CPU. Збірка q4 займає приблизно 2.5 GB, а збірка f16 — приблизно 8 GB, тому модель із великим запасом поміщається на карті обсягом 24 GB. Підійде й менша карта, а це покращує розрахунок точки беззбитковості на вашу користь. Для фільтра схем інструментів GPU взагалі не потрібен: він використовує BAAI/bge-small-en-v1.5 — модель embedding обсягом 130 MB, яка працює на CPU. Встановіть paritok[toolselect] на звичайному VPS і отримайте скорочення блоків інструментів за рахунок невеликого обсягу RAM.

Що станеться, якщо компресор вилучить те, що було потрібно агенту?

Дані не втрачаються назавжди. Модель видаляє фрагменти з тексту, який пересилається далі, але стиснуті сегменти містять тег [REF:id], а модель відновлює повний текст за допомогою read_original або expand_context. Фільтр інструментів за замовчуванням вилучає невибрані стандартні інструменти та невибрані MCP-інструменти, якщо не спрацьовує сигнал релевантності MCP. Якщо сигнал спрацьовує, він замінює такі MCP-інструменти заглушками. Для відновлення інструментів використовуються gateway_search_tools і виявлення повідомлень про відсутні інструменти. Реальний ризик менш очевидний, ніж відсутній файл: модель працює з фрагментом із втратою даних і не розуміє, що потрібно запросити оригінал. Показник збереження якості 86.5% на SWE-bench Lite вимірює одноразове розуміння стисненого необробленого вихідного коду з вимкненим recall і ввімкненим відновленням змін у production. Він не вимірює CPU-фільтр схем інструментів або повний gateway для кількох ходів.

Чому мій перший запит виконується п’ятнадцять секунд?

Модель embedding, яку використовує фільтр інструментів, завантажується під час першого запиту, а не під час запуску. У документації проєкту зазначено прогрівання тривалістю від 10 до 15 секунд, після чого один виклик займає приблизно 15 ms. Після запуску proxy надішліть один тестовий запит із curl. Тоді перший реальний хід агента не затримуватиметься.

Чи варто використовувати hosted GPU server замість self-hosting?

Це усуває потребу розміщувати модель стиснення та оплачувати GPU, але gateway усе одно потрібно підтримувати самостійно. Станом на 2 November 2026 вартість становить $0.30 за 1 мільйон стиснених file tokens. Оплата здійснюється з попередньо поповненого кредиту. Для нових облікових записів надається $5 безкоштовного кредиту. Безкоштовний період запуску завершився 1 October 2026. Крім того, ваші prompt-и та файли, які читає агент, надсилаються третій стороні до того, як вони потраплять до вашого model provider. Якщо ви використовуєте self-hosting, щоб зберігати код на інфраструктурі під власним контролем, така конфігурація нівелює причину початку роботи. Self-hosting зберігає стиснення на вашому власному сервері. Стиснені запити та облікові дані провайдера все одно передаються до вашого model provider.

Чи була ця стаття корисною?