SSD Nodes Learn Hosting plans →
मार्गदर्शक Matt Connorद्वारे Matt Connor

Paritok token gateway: coding agent चे बिल कमी होते का?

Paritok file reads आणि tool output compress करून 74% कमी tokens वापरण्याचा दावा करतो. Gateway कसे काम करते आणि break-even गणितातून खरोखर बचत होते का ते पाहा.

Paritok विनंतीवर काय प्रक्रिया करतो

Paritok हा token gateway आहे: तो तुमच्या coding agent आणि model API यांच्या मध्ये असलेला proxy आहे आणि पुढे पाठवण्यापूर्वी प्रत्येक विनंतीचे compression करतो. तुमचा agent provider ऐवजी http://127.0.0.1:8080 शी संवाद साधतो. हा proxy tool schemas, file reads, tool output आणि जुन्या turns चे आकारमान कमी करतो, लहान payload upstream कडे पाठवतो आणि reply मध्ये कोणताही बदल न करता परत देतो.

Provider कडे पोहोचलेल्या सामग्रीसाठी provider तुमच्याकडून शुल्क आकारतो. मात्र invoice मध्ये कोणते tokens काढले गेले, त्यांची cache pricing काय आहे आणि agent ने किती turns घेतले यावर अंतिम रक्कम अवलंबून असते. हीच संपूर्ण संकल्पना आहे. "तुमचा context अधिक काळ टिकतो" या दाव्यापेक्षा हा वेगळा दावा आहे. म्हणूनच हे tool केवळ मांडणी नीट करणारे साधन न राहता स्वारस्यपूर्ण ठरते.

हा project अद्याप नवीन आहे. Gateway 15 July 2026 रोजी open-source करण्यात आला. PyPI नुसार v1.3.14 ची तारीख 6 October 2026 आणि v1.3.0 ची तारीख 5 August आहे. Weights आणि gateway code Apache 2.0 अंतर्गत उपलब्ध आहेत. Compression model हा Qwen3-4B-Instruct-2507 वर आधारित LoRA (low-rank adaptation) adapter आहे. तो प्रत्यक्ष coding-agent trajectories मधून घेतलेल्या 45,000 segments च्या संचातून distilled करण्यात आला. त्यापैकी 40,606 segments teacher validation मध्ये उत्तीर्ण झाले आणि training examples बनले.

हे context trimming का नाही

Trimming मुळे मजकूर कायमचा हटतो. एखादा agent त्याच्या context limit जवळ पोहोचल्यावर सर्वात जुने turns काढून टाकतो. turn 3 मध्ये त्याने वाचलेली file नष्ट होते. turn 20 मध्ये ती file पुन्हा आवश्यक असल्यास, agent ती पुन्हा वाचतो आणि त्या tokens साठी दुसऱ्यांदा खर्च होतो. त्यामुळे झालेली बचत ही प्रत्यक्षात घेतलेले कर्ज ठरते.

Paritok एखादा segment लहान स्वरूपात आणि [REF:id] या tag सह बदलतो आणि पूर्ण text proxy वर ठेवतो. Model read_original किंवा expand_context कॉल करून segment पुन्हा मिळवतो. त्यामुळे failure mode बदलतो. Trimmer विसरतो आणि त्याबद्दल तुम्हाला कधीही सांगत नाही. Compressor model ला अपूर्ण excerpt देतो. Excerpt पुरेसा नसल्यास model मूळ मजकूर मागवू शकतो.

Filtered tool schemas पुन्हा मिळवता येतात. मात्र default adaptive filter निवडलेली नसलेली standard tools काढून टाकतो. MCP relevance signal सक्रिय न झाल्यास निवडलेली नसलेली MCP tools देखील काढून टाकल्या जातात. हा signal सक्रिय झाल्यास निवडलेल्या नसलेल्या MCP tools चे stubs तयार केले जातात. gateway_search_tools recovery ला support करते. तसेच gateway missing-tool messages शोधतो आणि retry करण्यापूर्वी जुळणारी tools inject करतो. हे महत्त्वाचे आहे. एखादे tool कायमचे लपवणारा filter agent काय करू शकतो यावर मर्यादा घालतो. नंतर एखादे task शांतपणे चुकीचे पूर्ण झाल्यावरच तुम्हाला याची माहिती मिळेल.

तीन उपाय आणि त्यापैकी विनामूल्य असलेला उपाय

पहिला उपाय म्हणजे tool-schema filter. प्रत्येक request मध्ये संपूर्ण tools array असतो. कोणतेही MCP (model context protocol) server जोडलेले नसलेल्या Claude Code turn मध्ये हा block सुमारे 29,000 tokensचा असतो; MCP जोडलेले असल्यास तो 44,000 ते 65,000 tokensचा असल्याचे project सांगते. Filter वापरकर्त्याची request आणि प्रत्येक tool description BAAI/bge-small-en-v1.5 या 130 MB embedding model मध्ये embed करतो. त्यानंतर जुळणारे tools ठेवतो, निवडलेले नसलेले standard tools काढून टाकतो आणि MCP relevance signal सक्रिय झाल्यावरच निवडलेले नसलेले MCP tools stubs मध्ये रूपांतरित करतो. अन्यथा ते MCP tools देखील काढून टाकतो. Project च्या 29,000-token उदाहरणात हा block सुमारे 8,000 tokensपर्यंत कमी होतो. हे embedding model CPU वर चालते.

दुसरा उपाय म्हणजे content compression. 4B model वापरणारा हा भाग GPU वर किंवा CPU वरील Ollama द्वारे चालतो. File reads, tool output आणि history यांचा आकार मूळ आकाराच्या 25.7% पर्यंत कमी केला जातो. Model प्रामुख्याने मजकुरातील spans निवडतो; तो त्यांचे पुनर्लेखन करत नाही. मात्र reasoning summaries आणि tool-call framing यांसारख्या मजकुरासाठी मर्यादित rewriting अनुमत आहे. Project च्या paper नुसार, teacher-generated training corpus मध्ये निर्माण झालेल्या identifiers, paths आणि numbers पैकी 96.0% input मध्ये जसेच्या तसे आढळतात. Trained model च्या held-out SWE-bench Lite output ने त्याच audit मध्ये 96.2% गुण मिळवले. 74% हा headline याच कारणामुळे आहे. हे काळजीपूर्वक समजा: 74% हा compress केलेल्या content वरील compression rate आहे; तो तुमच्या bill मधील कपात नाही.

तिसरा उपाय म्हणजे history summarization. Default नुसार, context configured window च्या 80% पेक्षा जास्त झाल्यावर जुन्या turns चा summary तयार केला जातो आणि अलीकडील चार turns जसाच्या तशा ठेवल्या जातात. त्यामुळे दीर्घ session limit ला धडकण्याऐवजी सुरू राहते.

Self-hosting साठी GPU आवश्यक नाही. या पानावरील हे सर्वात उपयुक्त वाक्य आहे. pip install "paritok[toolselect]" साधारण CPU VPS वर, प्रत्येक token साठी शुल्क न देता, tool filter उपलब्ध करून देते. GPU card भाड्याने घेण्यापूर्वी हे वापरून पाहा.

प्रकल्पाने काय मोजले आणि कोणत्या harness वर

तक्ताSWE-bench Lite: compression rate against solve quality retained (project's published figures)
या तक्त्यामागील डेटा
[
  {
    "label": "Paritok-4B-v1",
    "compressed_to_pct": 25.7,
    "quality_retained_pct": 86.5
  },
  {
    "label": "gpt-4.1-mini",
    "compressed_to_pct": 50.2,
    "quality_retained_pct": 85.6
  },
  {
    "label": "gpt-5",
    "compressed_to_pct": 61.9,
    "quality_retained_pct": 93.6
  }
]

ही प्रकल्पाने स्वतः प्रकाशित केलेली आकडेवारी आहे. ती SWE-bench Lite विरुद्ध प्रकल्पाच्या स्वतःच्या harness वर मोजली आहे. Paritok-4B-v1 मजकूर मूळ आकाराच्या 25.7% इतका संक्षिप्त करते आणि uncompressed solve rate पैकी 86.5% कायम ठेवते. compressor म्हणून gpt-5 वापरल्यास गुणवत्ता अधिक टिकते, 93.6%, पण मजकूर केवळ 61.9% इतकाच संक्षिप्त होतो. म्हणजे frontier prices वाचवण्यासाठी frontier pricesच द्यावे लागतील.

गुणवत्तेचा स्तंभ अचूकपणे समजून घ्या. Retained quality म्हणजे compressor solve rate भागिले uncompressed baseline solve rate. 86.5% गुणवत्ता टिकते याचा अर्थ त्या baseline च्या तुलनेत solves मध्ये निव्वळ 13.5% घट होते. Baseline ने सोडवलेल्या समस्यांपैकी किती समस्या गमावल्या, हे यात मोजले जात नाही, कारण compressed runs वेगळ्या समस्याही सोडवू शकतात. ही आकडेवारी recall अक्षम आणि production edit recovery सक्षम असताना compressed raw source चे single-shot comprehension मोजते. CPU tool-schema filter किंवा संपूर्ण multi-turn gateway यांचे मोजमाप यात होत नाही.

तक्ताReported input-token saving as a session grows (project's own harness)
या तक्त्यामागील डेटा
[
  {
    "label": "Turn 1",
    "saved_pct": 25
  },
  {
    "label": "Turn 5",
    "saved_pct": 39
  },
  {
    "label": "Turn 12",
    "saved_pct": 57
  },
  {
    "label": "Turn 20",
    "saved_pct": 63
  }
]

Session सुरू राहिल्यावर end-to-end बचत वाढते, कारण history साठत जाते आणि संक्षिप्त केली जाणारी गोष्ट history असते. प्रकल्पानुसार एका turn वर सुमारे 25%, turn 5 पर्यंत 39% आणि turn 20 पर्यंत 63% बचत होते. प्रत्यक्ष मोजमाप फक्त turns 1 ते 5 साठी आहे. README मधील पुढील rows projections म्हणून नमूद केले आहेत. वाढ कुठे थांबते, हेही त्यात स्पष्ट केले आहे. 200,000 token budget मध्ये प्रत्येक turn वरील content saving सुमारे 48,000 tokens वर स्थिरावते. हे turn 8 ते 12 च्या आसपास घडते, कारण context पूर्ण झाल्यावर history वाढत नाही. स्वतंत्र tool-filter saving प्रत्येक turn ला आणखी अंदाजे 21,000 tokens जोडते. त्यामुळे projected combined plateau प्रत्येक turn ला अंदाजे 69,000 tokens होते. सर्वत्र उद्धृत केलेला "past 85%" आकडा context-saturated sessions चे वर्णन करतो. ही सर्वोत्तम स्थिती आहे. त्याच README नुसार default settings अंतर्गत saving सुमारे 72% च्या कमाल मर्यादेकडे स्थिरावते. त्यामुळे नियोजन त्यावर आधारित करू नका.

24GB GPU Paritok साठी खर्च भरून काढतो का?

GPU ऐच्छिक आहे आणि हे मॉडेल 24 GB पेक्षा कमी क्षमतेच्या कार्डवरही चालते. उदाहरणार्थ rental calculation साठी 24 GB कार्डचा दर तासाला $0.44 धरू. ते संपूर्ण महिना सुरू ठेवले, तर 730 तास होतात आणि खर्च $321 येतो. फक्त कामाच्या वेळेत, दिवसाला 8 तास आणि 22 दिवस चालवले, तर 176 तास होतात आणि खर्च $77 येतो.

आता token reduction चे dollar reduction मध्ये रूपांतर करा. ही कपात input tokens वर लागू होते. Output tokens proxy मधून कोणताही बदल न होता पुढे जातात, त्यामुळे proxy त्यांना compress करत नाही. तुमच्या provider च्या दरांनुसार fresh input, cache writes आणि cache reads यांची किंमत स्वतंत्रपणे मोजा. त्यानंतर एकूण API cost आधी आणि नंतर किती आहे याची तुलना करा. तुमच्या एकूण dollar खर्चापैकी 80% input मुळे येत असले, तरी token reduction ला 0.8 ने गुणल्याने bill saving सिद्ध होत नाही.

तक्ताMonthly API saving needed to cover an illustrative $0.44/hour card
या तक्त्यामागील डेटा
[
  {
    "label": "Always on (730 hours)",
    "required_api_saving_usd": 321.2
  },
  {
    "label": "Workday only (176 hours)",
    "required_api_saving_usd": 77.44
  }
]

मोजलेल्या monthly API saving पेक्षा तुमची saving $321.2 जास्त झाली की सुरू ठेवलेले कार्ड स्वतःचा खर्च भरून काढते. Working hours च्या बाहेर instance बंद केल्यास ही रक्कम $77.44 असते. केवळ 85% token reduction मुळे 68% bill saving सिद्ध होत नाही. त्यामुळे monthly agent-spend threshold देखील सिद्ध होत नाही. Rental cost ला तुमच्या मोजलेल्या bill-saving fraction ने भागल्यास तो threshold मिळतो.

Chart मध्ये दिसते त्यापेक्षा हा हिशोब चांगला होण्याची दोन कारणे आहेत. मॉडेलला 24 GB आवश्यक नाही: q4 build सुमारे 2.5 GB आणि f16 build सुमारे 8 GB आहे. त्यामुळे छोटे कार्ड किंवा तुम्ही आधीपासून इतर कामासाठी चालवत असलेला GPU box वापरल्यास chart मधील प्रत्येक संख्या कमी होते. तसेच कोणी coding करत नसताना instance बंद करणे हा येथे सर्वात मोठा परिणाम करणारा उपाय आहे, कारण त्यामुळे rent सुमारे तीन चतुर्थांशाने कमी होते.

एक गोष्ट हा हिशोब वाईट करते. Compression pass साठी प्रत्यक्ष processing आवश्यक असते. 4B model ज्या प्रत्येक token ला compress करते, तो token त्याला वाचावा लागतो. तसेच ते ज्या प्रत्येक span ला ठेवते, तो पुन्हा write back करावा लागतो. त्यामुळे प्रत्येक agent turn ला latency वाढते. तासाच्या दराने भाड्याने घेतलेल्या कार्डवर हा खर्च invoice वरील स्वतंत्र ओळ म्हणून दिसत नाही; तो waiting time म्हणून दिसतो. त्यामुळे तो जाणवायला लागेपर्यंत सहज लक्षात येत नाही.

तुम्ही सामान्यतः rented GPU hours आणि API tokens यांची तुलना करत असाल, तर GPU VPS आणि API tokens मधील break-even inference साठी हाच हिशोब करते.

VPS वर Paritok gateway चालवणे

PyPI वरील package metadata मध्ये Python 3.10 किंवा त्यापेक्षा नवीन आवृत्ती स्वीकारली जाते, परंतु README badge मध्ये 3.11+ असे नमूद आहे. Ubuntu 24.04 मध्ये Python 3.12 समाविष्ट आहे, त्यामुळे CPU tool filter साठी साधी VPS image पुरेशी आहे.

sudo apt update && sudo apt install -y python3-venv curl
python3 -m venv /opt/paritok/venv
source /opt/paritok/venv/bin/activate
pip install "paritok[proxy]==1.3.14"
pip install "paritok[toolselect]==1.3.14"

आवृत्ती निश्चित करा. PyPI नुसार v1.3.0 ची तारीख 5 August 2026 आणि v1.3.14 ची तारीख 6 October 2026 आहे. या वेगाने बदलणाऱ्या project मध्ये releases दरम्यान नावे बदलू शकतात: v1.3.0 मध्येच expand_context चे API मधील नाव read_original असे बदलले गेले. फक्त pip install paritok वापरल्यास किंवा main चा git clone केल्यास पुढील आठवड्यात वेगळा gateway मिळू शकतो आणि मोजलेले आकडे कोणत्या gateway ने तयार केले याची नोंद राहत नाही.

डीफॉल्ट backend Ollama आहे. Model pull करा आणि proxy शोधत असलेले short name त्याला द्या.

ollama pull paritok/paritok-4b-v1
ollama cp paritok/paritok-4b-v1 paritok-4b-v1

स्थानिक model compress केलेल्या प्रत्येक segment साठी ठेवलेले spans लिहितो. त्यामुळे compression pass जास्त वेळ चालल्यास agent turn अडकलेला दिसतो. Ollama मधील output length साठीचा num_predict cap ही मर्यादा ठरवणारी setting आहे.

त्याच्या शेजारी paritok.yaml लिहा. Compression तुमच्या स्वतःच्या hardware वरच ठेवण्यासाठी use_gpu_server: false आवश्यक आहे.

use_gpu_server: false
local_model:
  base_url: http://localhost:11434/v1
paritok proxy --port 8080 --config-file paritok.yaml

Model उपलब्ध नसल्यास तो pull करून port 8080 वर proxy सुरू करण्यासाठी paritok up हा shortcut आहे; Ollama आधीच install केलेले असणे आवश्यक आहे. Agent ला proxy कडे निर्देशित करण्यापूर्वी proxy तपासा.

curl http://127.0.0.1:8080/health
curl http://127.0.0.1:8080/stats

/health मध्ये "status":"ok" आणि version string असलेला छोटा JSON object मिळतो. /stats मध्ये compression totals आणि proxy ने स्वतः वाचवलेल्या सामग्रीचा केलेला अंदाज मिळतो. हा अंदाज proxy ने स्वतःच्या कामाचे केलेले मूल्यांकन समजा आणि तो तुमच्या provider च्या usage page वरील माहितीशी पडताळा.

सुलभतेपेक्षा throughput महत्त्वाचा असल्यास, vLLM base model वर adapter serve करते.

vllm serve Qwen/Qwen3-4B-Instruct-2507 \
  --enable-lora \
  --lora-modules paritok-4b-v1=paritok/paritok-4b-v1 \
  --max-lora-rank 32 \
  --port 8000

Adapter चा rank 32 असल्यामुळे --max-lora-rank 32 flag project च्या command मध्येच आहे. त्यानंतर paritok.yaml मध्ये local_model.base_url ची value http://localhost:8000/v1 करा, जेणेकरून proxy Ollama ऐवजी vLLM शी संवाद साधेल.

Ollama लवकर सुरू करता येते. vLLM concurrent requests अधिक चांगल्या प्रकारे हाताळते. एकाच box वर एकापेक्षा जास्त agents काम करू लागल्यावर याचे महत्त्व लगेच दिसते. Ollama आणि vLLM मधील व्यावहारिक फरक यापैकी योग्य पर्याय ठरवतो.

Base URL environment variables वापरून agent ला proxy कडे निर्देशित करा.

export ANTHROPIC_BASE_URL=http://127.0.0.1:8080
export OPENAI_BASE_URL=http://127.0.0.1:8080

Codex CLI OPENAI_BASE_URL कडे दुर्लक्ष करते. त्यामुळे paritok.yaml मध्ये codex.enabled: true set केलेले असल्यास paritok up तुमच्यासाठी ~/.codex/config.toml लिहिते. Variable फक्त export केल्यास Codex थेट provider शी संवाद साधत राहते. याचे लक्षण म्हणजे तुम्ही काम करत असताना /stats counter मध्ये कोणतीही वाढ होत नाही.

Listener 127.0.0.1 वर ठेवा; तो कधीही 0.0.0.0 वर ठेवू नका. Proxy प्रत्येक request सोबत दिलेली credentials upstream कडे forward करते. त्याचे authentication नसलेले /stats endpoint original आणि compressed content चे samples उघड करते. त्यामुळे internet-facing listener मुळे private context आणि स्थानिक compression resources उघड होतात. Port उघडण्याऐवजी SSH tunnel किंवा VPN द्वारे laptop वरून त्याच्याशी संपर्क साधा.

रीबूटनंतरही proxy सुरू राहण्यासाठी तो systemd अंतर्गत चालवा. तुमच्या install नुसार paths बदला. Unit ज्या paritok user म्हणून चालते तो user तयार करा आणि त्याला install directory ची परवानगी द्या:

sudo useradd --system --home-dir /opt/paritok --shell /usr/sbin/nologin paritok
sudo chown -R paritok:paritok /opt/paritok
[Unit]
Description=Paritok compression proxy
After=network-online.target

[Service]
User=paritok
WorkingDirectory=/opt/paritok
ExecStart=/opt/paritok/venv/bin/paritok proxy --port 8080 --config-file /opt/paritok/paritok.yaml
Restart=on-failure

[Install]
WantedBy=multi-user.target

sudo systemctl enable --now paritok वापरून service enable करा आणि पुन्हा /health ला curl करा. सुरू झाल्यानंतर लगेच बंद होणारी unit सामान्यतः चुकीचा config file path दर्शवते. journalctl -u paritok -n 50 कारण दाखवते.

होस्ट केलेला पर्याय आणि त्याची किंमत

हा प्रकल्प compression ही सेवा म्हणूनही उपलब्ध करून देतो. paritok.com कडून मिळालेल्या API key ने use_gpu_server: true सेट करा; त्यानंतर 4B model त्यांच्या hardware वर चालतो. 2 November 2026 रोजीच्या माहितीनुसार, तो compress केलेल्या प्रत्येक 1 million file tokens साठी prepaid credit मधून $0.30 आकारतो. Tool-schema filtering विनामूल्य आहे. नवीन account साठी card न देता $5 चे free credit मिळते. Hosted service विनामूल्य असलेला launch period 1 October 2026 रोजी संपला. त्यामुळे आता ही paid service आहे. यामुळे compression-model hosting चे काम तुमच्यावर राहत नाही; मात्र gateway तुम्हालाच चालवावा लागतो.

याचा अर्थ असा आहे की तुमचे prompts आणि तुमच्या agent ने वाचलेल्या files तुमच्या machine बाहेर जाऊन third party कडे पोहोचतात आणि त्यानंतरच model provider कडे जातात. Self-hosting करण्यामागचा उद्देश नेमका हा hop टाळणे हा आहे. use_gpu_server: true सेट करण्यापूर्वी तुम्ही यापैकी कोणत्या बाबीला प्राधान्य देत आहात ते ठरवा. हा flag बदलण्यासाठी एका ओळीचा बदल पुरतो; पण त्याचे परिणाम तसे साधे नाहीत.

स्वतःची before-and-after मोजणी कशी करावी

प्रकाशित आकडे हे प्रकल्पाचे आकडे आहेत. ते प्रकल्पाच्या harness मधून, SWE-bench Lite वर मिळालेले आहेत. तुमचे repository SWE-bench Lite नाही. स्वतःची मोजणी करा.

  • proxy मार्गात नसताना एक सामान्य आठवडा काम करा. तुमच्या provider च्या usage page वरून fresh input, cache-write, cache-read आणि output tokens स्वतंत्र ओळींमध्ये नोंदवा. त्यांना एकूण dollar रकमेच्या रूपात नोंदवू नका.
  • पुढील आठवडा proxy समोर ठेवून, त्याच प्रकारचे काम करा.
  • input श्रेणींची त्यांच्या प्रत्यक्ष किमतींनुसार तुलना करा आणि output cost मध्ये झालेला कोणताही बदल समाविष्ट करा. proxy output compress करत नाही; परंतु agent च्या वर्तनातील आणि turns च्या संख्येतील बदलांमुळे तुम्ही खरेदी करत असलेल्या output चे प्रमाण बदलू शकते.
  • पुन्हा करावी लागलेली tasks मोजा. हा या बदलाचा quality भाग आहे, आणि कोणताही dashboard याची नोंद करत नाही.
  • एकूणांची तुलना करण्यापूर्वी दुसऱ्या आठवड्यातील GPU hours जोडा.

input आणि output वेगळे मोजणे महत्त्वाचे आहे, कारण त्यांच्या किमतींमध्ये मोठा फरक आहे आणि compressor त्यापैकी फक्त एका भागावर परिणाम करतो. 2 November 2026 रोजी Claude Sonnet 4.6 ची किंमत प्रति million input tokens $3 आणि प्रति million output tokens $15 आहे. prompt-cache read ची किंमत input rate च्या 10% आहे, म्हणजे प्रति million $0.30. नवीन Claude Sonnet 5.5 ची किंमत अनुक्रमे $2 आणि $10 आहे. त्याचे cache reads input rate च्या 5% आहेत, म्हणजे प्रति million $0.10. input आणि output token cost मधील फरक यावर input-side compressor तुमच्यासाठी उपयुक्त आहे की नाही हे ठरते. Claude Code चे tokens प्रत्यक्षात कुठे वापरले जातात यामुळे context मधील कोणता भाग compress करण्याइतका मोठा आहे हे समजते.

Prompt caching मुळे विशेषतः tool-filter च्या गणनेत गुंतागुंत निर्माण होते. tool block request च्या सुरुवातीला असतो. त्यामुळे पहिल्या turn नंतर तो सामान्यतः cache hit असतो; Sonnet 4.6 वर त्याची किंमत input price च्या 10% असते. Cached block मधून 21,000 tokens काढल्यास $0.30 प्रति million या दराने प्रत्येक turn साठी सुमारे $0.006 बचत होते. Uncached rate नुसार अपेक्षित $0.063 इतकी बचत होत नाही. Project संपूर्ण session साठी filtered block अपरिवर्तित ठेवते, त्यामुळे cached prefix बदलत नाही. प्रत्येक turn ला tools ची नव्याने निवड करणारा filter वापरल्यास तो prefix invalid होईल आणि झालेली बचत खर्चापेक्षा कमी ठरू शकते.

अजून काय पडताळलेले नाही

वरील प्रत्येक कार्यक्षमता-आकडा प्रकल्पानेच दिलेला आहे. स्वतंत्र synthetic-corpus compression चाचणी उपलब्ध आहे; मात्र ती SWE-bench task success ची चाचणी घेत नाही. प्रकल्पाने दिलेले SWE-bench Lite solve-quality आकडे अजूनही स्वतंत्रपणे निश्चित झालेले नाहीत. जुलै 2026 मध्ये gateway open-source झाल्यामुळे या code मागे operational history देखील फारच कमी आहे. Compression rate आणि quality-retained figure हे दोन्ही आकडे ते चांगले दिसल्याने ज्याला फायदा होतो त्याच पक्षाने मोजले आहेत. त्यामुळे ते चुकीचे आहेत असे ठरत नाही. मात्र ते अप्रमाणित आहेत. म्हणून तुम्ही स्वतः तयार केलेल्या आकड्यांपेक्षा त्यांच्याकडे वेगळ्या पद्धतीने पाहावे.

तुमच्या setup ला दोष देण्यापूर्वी एक documented behaviour माहीत असणे उपयुक्त आहे. Tool filter मध्ये वापरलेले embedding model startup वेळी नव्हे, तर पहिल्या request वेळी load होते. त्यामुळे प्रकल्पाच्या documentation नुसार warm-up ला 10 ते 15 seconds लागतात आणि त्यानंतर प्रत्येक call ला सुमारे 15 ms लागतात. Proxy सुरू झाल्यानंतर एक throwaway request पाठवा. त्यामुळे agent चा पहिला खरा turn अडकलेला वाटणार नाही.

एका दुपारी तुम्ही स्वतः चार गोष्टी निश्चित करू शकता: proxy सुरू होतो आणि चालू राहतो का, काम करताना /stats बदलतो का, तुमच्या provider कडील input-token line प्रत्यक्षात कमी होते का, आणि agent अजूनही काम पूर्ण करतो का. तुमच्या setup साठी हे निष्कर्ष कोणत्याही published benchmark पेक्षा अधिक उपयुक्त ठरतील.

हे तुमच्या इतर tooling च्या तुलनेत कुठे बसते याबद्दल: self-hosted LiteLLM gateway request च्या contents मध्ये बदल न करता त्यांना route आणि meter करते. त्यामुळे ही दोन्ही साधने वेगवेगळ्या समस्या सोडवतात आणि त्यांना chain करता येते; त्यात Paritok agent च्या सर्वात जवळ राहतो. या विशिष्ट tool ऐवजी खर्च कमी करणे हे खरे उद्दिष्ट असल्यास, VPS वरील agent साठी उपलब्ध व्यापक cost controls मध्ये आधी विनामूल्य वापरून पाहता येतील असे अनेक बदल आहेत.

FAQ

Paritok माझे API बिल कमी करते का, की फक्त माझा context वापर कमी करते?

विनंती provider पर्यंत पोहोचण्यापूर्वी ती लहान केली जाते. बिलातील बचत काढून टाकलेल्या tokens च्या किमतीवर आणि agent च्या परिणामी turn count वर अवलंबून असते. या कपातीचा आकार मथळ्यातील आकड्यापेक्षा कमी आहे. 74% हा compress केलेल्या content वरील compression rate आहे. End to end, प्रकल्पानुसार single turn मध्ये input-token savings सुमारे 25% आहेत आणि turn 20 पर्यंत ही बचत 63% होण्याचा अंदाज आहे. Output tokens मध्ये कोणताही बदल केला जात नाही. मात्र निर्माण होणाऱ्या output चे प्रमाण agent च्या वर्तनावर अवलंबून राहते.

compression model self-host करण्यासाठी मला किती GPU आवश्यक आहे?

GPU ऐच्छिक आहे. Ollama हे model CPU वरही चालवते. q4 build सुमारे 2.5 GB आणि f16 build सुमारे 8 GB आहे. त्यामुळे model 24 GB card मध्ये भरपूर मोकळी जागा ठेवून बसते. यापेक्षा लहान card देखील चालते आणि त्यामुळे break-even गणित तुमच्या बाजूने बदलते. Tool-schema filter साठी GPU ची अजिबात गरज नाही. तो BAAI/bge-small-en-v1.5 वापरतो. हे 130 MB चे embedding model CPU वर चालते. सामान्य VPS वर paritok[toolselect] install केल्यास थोड्या RAM च्या किमतीत tool-block reduction मिळते.

compressor ने agent ला आवश्यक असलेली एखादी गोष्ट काढून टाकली तर काय होते?

काहीही कायमचे गमावले जात नाही. Forward केल्या जाणाऱ्या content मधून model काही spans काढून टाकते. मात्र compressed segments मध्ये [REF:id] tag असतो आणि model read_original किंवा expand_context वापरून पूर्ण text परत मिळवते. Default tool filter निवडलेली नसलेली standard tools काढून टाकतो. MCP relevance signal सक्रिय नसेल तर निवडलेली नसलेली MCP tools देखील काढून टाकतो. Signal सक्रिय झाल्यास तो त्या MCP tools साठी stubs तयार करतो. Tool recovery साठी gateway_search_tools आणि missing-tool messages ची detection वापरली जाते. खरा धोका missing file पेक्षा अधिक सूक्ष्म आहे. Model lossy excerpt वर काम करते आणि original मागणे आवश्यक आहे हे तिला कधीच लक्षात येत नाही. SWE-bench Lite वरील 86.5% quality-retained हा आकडा recall disabled आणि production edit recovery enabled असताना compressed raw source चे single-shot comprehension मोजतो. तो CPU tool-schema filter किंवा पूर्ण multi-turn gateway मोजत नाही.

माझ्या पहिल्या request ला fifteen seconds का लागतात?

Tool filter मागील embedding model startup वेळी न लोड होता first request वेळी लोड होते. प्रकल्पात warm-up साठी 10 ते 15 seconds आणि त्यानंतर प्रत्येक call साठी सुमारे 15 ms असा कालावधी नमूद केला आहे. Proxy सुरू केल्यानंतर curl वापरून एक throwaway request पाठवा. त्यामुळे पहिला वास्तविक agent turn अडखळणार नाही.

self-hosting ऐवजी hosted GPU server वापरावा का?

यामुळे compression-model hosting आणि GPU rent ची गरज नाहीशी होते. मात्र gateway चे व्यवस्थापन तुम्हालाच करावे लागते. 2 November 2026 रोजी उपलब्ध माहितीनुसार compressed केलेल्या प्रत्येक million file tokens साठी याची किंमत $0.30 आहे. हे शुल्क prepaid credit मधून घेतले जाते आणि नवीन accounts साठी $5 चे free credit मिळते. Free launch period 1 October 2026 रोजी समाप्त झाला. Model provider पर्यंत पोहोचण्यापूर्वी हे तुमचे prompts आणि agent वाचत असलेल्या files third party कडेही पाठवते. तुमच्या नियंत्रणातील infrastructure वर code ठेवण्यासाठी तुम्ही self-hosting करत असाल, तर ही रचना तुम्ही सुरुवात करण्यामागील कारणच निष्प्रभ करते. Self-hosting मुळे compression तुमच्या स्वतःच्या box वर राहते. मात्र compressed requests आणि provider credentials पुढे तुमच्या model provider कडे पाठवले जातात.

हा लेख उपयुक्त होता का?