SSD Nodes Learn Hosting plans →
تعلیمی Matt Connorتحریر: Matt Connor

Paritok token gateway سے coding agent کا خرچ کم؟

Paritok file reads اور tool output کو compress کر کے upstream بھیجتا ہے۔ project کے مطابق tokens میں 74% کمی آ سکتی ہے، مگر break-even cache pricing اور turns پر منحصر ہے۔

Paritok درخواست کے ساتھ کیا کرتا ہے

Paritok ایک token gateway ہے: یہ ایسا proxy ہے جو آپ کے coding agent اور model API کے درمیان رہتا ہے اور ہر request کو آگے بھیجنے سے پہلے compress کرتا ہے۔ آپ کا agent provider کے بجائے http://127.0.0.1:8080 سے بات کرتا ہے۔ یہ proxy tool schemas، file reads، tool output اور agent کی پچھلی turns کو مختصر کرتا ہے، کم حجم والا payload upstream بھیجتا ہے، اور reply کو بغیر تبدیلی کے واپس پہنچا دیتا ہے۔

Provider آپ سے اس چیز کے لیے billing کرتا ہے جو provider تک پہنچتی ہے، لیکن invoice اس بات پر منحصر ہوتا ہے کہ کون سے tokens ہٹائے گئے، ان کی cache pricing کیا ہے، اور agent نے کتنی turns لیں۔ یہی مکمل تصور ہے۔ یہ دعویٰ "آپ کا context زیادہ دیر تک برقرار رہتا ہے" سے مختلف ہے۔ اسی وجہ سے یہ tool محض ترتیب دینے والی utility کے بجائے دلچسپ ہے۔

یہ project ابھی ابتدائی مرحلے میں ہے۔ Gateway کو 15 July 2026 کو open-source کیا گیا تھا۔ PyPI میں v1.3.14 کی تاریخ 6 October 2026 اور v1.3.0 کی تاریخ 5 August درج ہے۔ Weights اور gateway code Apache 2.0 کے تحت ہیں۔ Compression model Qwen3-4B-Instruct-2507 پر LoRA (low-rank adaptation) adapter ہے۔ اسے حقیقی coding-agent trajectories سے لیے گئے 45,000 segments کے مجموعے سے distill کیا گیا۔ ان میں سے 40,606 نے teacher validation پاس کی اور training examples بنے۔

یہ context trimming کیوں نہیں ہے

Trimming مستقل طور پر حذف کرتی ہے۔ جب کوئی agent اپنی context limit کے قریب پہنچتا ہے اور قدیم ترین turns خارج کرتا ہے، تو turn 3 میں پڑھی گئی file ختم ہو جاتی ہے۔ اگر turn 20 میں اسے اسی file کی ضرورت ہو، تو وہ file دوبارہ پڑھتا ہے، اور آپ ان tokens کی دوسری بار قیمت ادا کرتے ہیں۔ یہ بچت دراصل ایک قرض تھی۔

Paritok کسی segment کو ایک مختصر شکل اور tag، [REF:id]، سے تبدیل کرتا ہے، جبکہ مکمل متن proxy پر محفوظ رکھتا ہے۔ Model read_original یا expand_context کو call کر کے segment بحال کر سکتا ہے۔ اس سے failure mode بدل جاتا ہے۔ Trimmer بھولنے کی وجہ سے fail ہوتا ہے، اور آپ کو کبھی نہیں بتاتا۔ Compressor model کو ایک lossy excerpt دیتا ہے؛ جب excerpt کافی نہ ہو تو model اصل متن طلب کر سکتا ہے۔

Filtered tool schemas پھر بھی recoverable رہتے ہیں، لیکن default adaptive filter غیر منتخب standard tools کو خارج کر دیتا ہے اور غیر منتخب MCP tools کو بھی خارج کر دیتا ہے، جب تک اس کا MCP relevance signal فعال نہ ہو۔ جب یہ signal فعال ہو، تو غیر منتخب MCP tools کو stubs میں تبدیل کر دیا جاتا ہے۔ gateway_search_tools recovery کو support کرتا ہے، اور gateway missing-tool messages بھی detect کرتا ہے اور retry سے پہلے matching tools inject کرتا ہے۔ یہ اس لیے اہم ہے کہ جو filter کسی tool کو مستقل طور پر چھپا دے، وہ agent کی انجام دیے جانے والے کاموں کی صلاحیت بدل دیتا ہے، اور آپ کو اس کا علم ایسے task کے ذریعے ہوتا ہے جو خاموشی سے غلط ہو جاتا ہے۔

تین طریقے، اور ان میں سے مفت کون سا ہے

پہلا طریقہ tool-schema filter ہے۔ ہر request میں مکمل tools array شامل ہوتا ہے۔ کسی Claude Code turn میں، جب کوئی MCP (model context protocol) server منسلک نہ ہو، تو project کے مطابق یہ block تقریباً 29,000 tokens کا ہوتا ہے؛ MCP منسلک ہونے پر یہ 44,000 سے 65,000 tokens تک ہوتا ہے۔ filter صارف کی request اور ہر tool description کو BAAI/bge-small-en-v1.5 کے ذریعے embed کرتا ہے۔ یہ 130 MB کا embedding model ہے۔ filter متعلقہ tools برقرار رکھتا ہے، منتخب نہ کیے گئے standard tools حذف کرتا ہے، اور unselected MCP tools کے لیے stub صرف اس وقت بناتا ہے جب اس کا MCP relevance signal فعال ہو۔ بصورت دیگر وہ MCP tools بھی حذف کر دیتا ہے۔ project کی 29,000-token مثال میں یہ block کم ہو کر تقریباً 8,000 tokens رہ جاتا ہے۔ یہ embedding model CPU پر چلتا ہے۔

دوسرا طریقہ content compression ہے۔ یہی حصہ 4B model استعمال کرتا ہے، جو GPU پر یا CPU کے ذریعے Ollama میں چلتا ہے۔ File reads، tool output اور history کو ان کے اصل حجم کے 25.7% تک کم کیا جاتا ہے۔ model بنیادی طور پر متن کے حصے منتخب کرتا ہے، انہیں دوبارہ نہیں لکھتا۔ تاہم reasoning summaries اور tool-call framing جیسے مواد کے لیے محدود rewriting کی اجازت ہے۔ project کے paper میں teacher-generated training corpus کے دوران جاری کیے گئے identifiers، paths اور numbers میں سے 96.0% کو input میں عین اسی طرح موجود ناپا گیا ہے؛ trained model کے held-out SWE-bench Lite output نے اسی audit میں 96.2% score حاصل کیا۔ 74% کا headline اسی سے آتا ہے۔ اسے احتیاط سے پڑھیں: 74% اس content کی compression rate ہے جسے compress کیا جاتا ہے، آپ کے bill میں کمی نہیں۔

تیسرا طریقہ history summarization ہے۔ default طور پر، جب context configured window کے 80% سے تجاوز کر جائے، تو پرانے turns کا خلاصہ بنایا جاتا ہے، جبکہ چار حالیہ turns برقرار رہتے ہیں۔ اس طرح طویل session limit سے ٹکرانے کے بجائے چلتا رہتا ہے۔

Self-hosting کے لیے GPU اختیاری ہے۔ اس صفحے کا سب سے مفید جملہ یہی ہے۔ pip install "paritok[toolselect]" آپ کو عام CPU VPS پر tool filter فراہم کرتا ہے، اور اس کے لیے فی token کوئی fee نہیں ہے۔ GPU card کرائے پر لینے سے پہلے اسے آزمائیں۔

پروجیکٹ نے کیا ناپا، اور کس harness پر

چارٹSWE-bench Lite: compression rate against solve quality retained (project's published figures)
اس چارٹ کے پیچھے کا ڈیٹا
[
  {
    "label": "Paritok-4B-v1",
    "compressed_to_pct": 25.7,
    "quality_retained_pct": 86.5
  },
  {
    "label": "gpt-4.1-mini",
    "compressed_to_pct": 50.2,
    "quality_retained_pct": 85.6
  },
  {
    "label": "gpt-5",
    "compressed_to_pct": 61.9,
    "quality_retained_pct": 93.6
  }
]

یہ پروجیکٹ کے اپنے شائع کردہ اعداد و شمار ہیں، جو اس کے اپنے harness پر SWE-bench Lite کے خلاف ناپے گئے ہیں۔ Paritok-4B-v1 مواد کو اصل حجم کے 25.7% تک compress کرتا ہے، جبکہ uncompressed solve rate کا 86.5% برقرار رکھتا ہے۔ gpt-5 کو compressor کے طور پر استعمال کرنے سے معیار زیادہ برقرار رہتا ہے، یعنی 93.6%، لیکن compression صرف 61.9% تک ہوتی ہے۔ اس صورت میں آپ frontier قیمتیں بچانے کے لیے frontier قیمتیں ادا کر رہے ہوں گے۔

quality column کو دیانت داری سے پڑھیں۔ Quality retained سے مراد compressor solve rate کو uncompressed baseline solve rate پر تقسیم کرنے کا نتیجہ ہے۔ 86.5% برقرار رہنے کا مطلب ہے کہ اس baseline کے مقابلے میں solves میں خالص 13.5% کمی واقع ہوئی؛ اس میں baseline سے حل ہونے والے مسائل میں سے ضائع ہونے والے مسائل کا تناسب شامل نہیں، کیونکہ compressed runs مختلف مسائل بھی حل کر سکتی ہیں۔ یہ عدد compressed raw source کی single-shot comprehension کو ناپتا ہے، جس میں recall disabled اور production edit recovery enabled ہے؛ یہ CPU tool-schema filter یا مکمل multi-turn gateway کو نہیں ناپتا۔

چارٹReported input-token saving as a session grows (project's own harness)
اس چارٹ کے پیچھے کا ڈیٹا
[
  {
    "label": "Turn 1",
    "saved_pct": 25
  },
  {
    "label": "Turn 5",
    "saved_pct": 39
  },
  {
    "label": "Turn 12",
    "saved_pct": 57
  },
  {
    "label": "Turn 20",
    "saved_pct": 63
  }
]

Session کے چلنے کے ساتھ end-to-end بچت بڑھتی ہے، کیونکہ history جمع ہوتی رہتی ہے اور compress بھی history ہی کی جاتی ہے۔ پروجیکٹ کے مطابق single turn پر تقریباً 25%، turn 5 تک 39%، اور turn 20 تک 63% بچت ہوتی ہے۔ صرف turns 1 سے 5 تک پیمائش کی گئی ہے؛ README بعد کی rows کو projections قرار دیتا ہے۔ README یہ بھی بتاتا ہے کہ اضافہ کہاں رک جاتا ہے: 200,000 token budget پر ہر turn کی content saving تقریباً 48,000 tokens پر، turn 8 سے 12 کے قریب، ہموار ہو جاتی ہے، کیونکہ context بھر جانے کے بعد history بڑھنا بند ہو جاتی ہے۔ الگ tool-filter saving ہر turn میں تقریباً 21,000 tokens مزید بچاتی ہے، جس سے combined plateau کا projected حجم تقریباً 69,000 tokens فی turn بنتا ہے۔ عام طور پر نقل کیا جانے والا "past 85%" کا عدد context-saturated sessions کو بیان کرتا ہے۔ یہ بہترین صورت ہے، اور اسی README کے مطابق default settings میں saving تقریباً 72% کی زیادہ سے زیادہ حد کی طرف بڑھتے ہوئے plateau کرتی ہے، اس لیے اپنے منصوبے اسی عدد پر مبنی نہ کریں۔

کیا 24GB GPU Paritok کے لیے لاگت پوری کرتا ہے؟

GPU اختیاری ہے، اور یہ model 24GB سے چھوٹے cards پر بھی چل جاتا ہے۔ ایک مثال کے طور پر rental calculation میں 24GB card کے لیے $0.44 فی گھنٹہ فرض کریں۔ اگر یہ پورا مہینہ چلتا رہے تو 730 گھنٹے بنتے ہیں، یعنی $321۔ اگر اسے صرف working hours میں، روزانہ 8 گھنٹے اور 22 دن چلائیں تو 176 گھنٹے بنتے ہیں، یعنی $77۔

اب token cut کو dollar cut میں تبدیل کریں۔ یہ کمی input tokens پر لاگو ہوتی ہے۔ Output tokens proxy سے بغیر تبدیلی کے گزرتے ہیں، اس لیے proxy انہیں compress نہیں کرتا۔ اپنے provider کے rates استعمال کرتے ہوئے fresh input، cache writes اور cache reads کی قیمت الگ الگ نکالیں، پھر پہلے اور بعد کی total API cost کا موازنہ کریں۔ اگر input آپ کے dollar total کا 80% بھی ہو، تو token reduction کو 0.8 سے ضرب دینا آپ کے bill میں بچت ثابت نہیں کرتا۔

چارٹMonthly API saving needed to cover an illustrative $0.44/hour card
اس چارٹ کے پیچھے کا ڈیٹا
[
  {
    "label": "Always on (730 hours)",
    "required_api_saving_usd": 321.2
  },
  {
    "label": "Workday only (176 hours)",
    "required_api_saving_usd": 77.44
  }
]

اگر card مسلسل چلتا رہے تو اس کی لاگت اسی وقت پوری ہو جاتی ہے جب آپ کی measured monthly API saving $321.2 سے زیادہ ہو، یا اگر آپ working hours کے باہر instance روک دیں تو $77.44 سے زیادہ ہو۔ صرف 85% token reduction سے 68% bill saving ثابت نہیں ہوتی، اس لیے اس بنیاد پر monthly agent-spend threshold بھی ثابت نہیں کیا جا سکتا۔ Rental cost کو measured bill-saving fraction سے تقسیم کریں تاکہ یہ threshold حاصل ہو جائے۔

دو باتیں اس نتیجے کو chart سے بہتر بناتی ہیں۔ model کو 24GB درکار نہیں: q4 build تقریباً 2.5GB اور f16 build تقریباً 8GB کا ہے، اس لیے چھوٹا card، یا ایسا GPU box جو آپ پہلے ہی کسی اور کام کے لیے چلا رہے ہوں، chart میں موجود ہر number کم کر دیتا ہے۔ اور جب کوئی coding نہ کر رہا ہو تو instance روک دینا یہاں سب سے مؤثر قدم ہے، کیونکہ اس سے rent تقریباً تین چوتھائی کم ہو جاتا ہے۔

ایک بات اسے بدتر بناتی ہے۔ compression pass واقعی کام کرتا ہے۔ 4B model جتنے tokens کو compress کرتا ہے، اسے اتنے tokens پڑھنے پڑتے ہیں، اور ہر span جسے وہ برقرار رکھتا ہے اسے دوبارہ write back کرنا پڑتا ہے۔ اس سے ہر agent turn میں latency بڑھ جاتی ہے۔ جس card کا کرایہ آپ فی گھنٹہ ادا کرتے ہیں، اس کی یہ لاگت invoice کی کسی سطر کے بجائے waiting کی صورت میں ظاہر ہوتی ہے، اس لیے اسے محسوس ہونے تک نظر انداز کرنا آسان ہے۔

اگر آپ عام طور پر rented GPU hours اور API tokens کے درمیان انتخاب کر رہے ہیں تو GPU VPS اور API tokens کے درمیان break-even inference کی لاگت کے لیے یہی arithmetic استعمال کرتا ہے۔

VPS پر Paritok gateway چلانا

PyPI پر package metadata Python 3.10 یا اس کے بعد کے ورژن قبول کرتا ہے، اگرچہ README badge میں 3.11+ لکھا ہے۔ Ubuntu 24.04 میں Python 3.12 شامل ہے، اس لیے CPU tool filter کے لیے ایک عام VPS image کافی ہے۔

sudo apt update && sudo apt install -y python3-venv curl
python3 -m venv /opt/paritok/venv
source /opt/paritok/venv/bin/activate
pip install "paritok[proxy]==1.3.14"
pip install "paritok[toolselect]==1.3.14"

ورژن کو pin کریں۔ PyPI کے مطابق v1.3.0 کی تاریخ 5 August 2026 اور v1.3.14 کی تاریخ 6 October 2026 ہے۔ اتنی تیزی سے تبدیل ہونے والے project میں releases کے درمیان نام بدل سکتے ہیں: خود v1.3.0 نے اپنی API میں expand_context کا نام بدل کر read_original کر دیا تھا۔ سادہ pip install paritok یا main کا git clone اگلے ہفتے آپ کو ایک مختلف gateway دے سکتا ہے، اور یہ ریکارڈ بھی نہیں رہتا کہ آپ کی پیمائش کے اعداد کس gateway نے تیار کیے تھے۔

Default backend Ollama ہے۔ پہلے model pull کریں، پھر اسے وہ مختصر نام دیں جسے proxy تلاش کرتا ہے۔

ollama pull paritok/paritok-4b-v1
ollama cp paritok/paritok-4b-v1 paritok-4b-v1

مقامی model ہر compress کیے جانے والے segment کے لیے محفوظ کیے گئے spans لکھتا ہے۔ اس لیے طویل compression pass agent turn کے رک جانے کی صورت میں ظاہر ہوتا ہے، اور output length پر Ollama کا num_predict cap وہ setting ہے جو اس کی حد مقرر کرتی ہے۔

اس کے ساتھ paritok.yaml لکھیں۔ use_gpu_server: false یہ یقینی بناتا ہے کہ compression آپ کے اپنے hardware پر ہو۔

use_gpu_server: false
local_model:
  base_url: http://localhost:11434/v1
paritok proxy --port 8080 --config-file paritok.yaml

paritok up model موجود نہ ہونے کی صورت میں اسے pull کرنے اور proxy کو port 8080 پر شروع کرنے کا shortcut ہے؛ Ollama پہلے سے installed ہونا چاہیے۔ کسی agent کو اس سے منسلک کرنے سے پہلے proxy کی جانچ کریں۔

curl http://127.0.0.1:8080/health
curl http://127.0.0.1:8080/stats

/health ایک چھوٹا JSON object واپس کرتا ہے جس میں "status":"ok" اور version string شامل ہوتی ہے۔ /stats compression کے totals اور proxy کے اپنے اندازے کے مطابق محفوظ کی گئی مقدار واپس کرتا ہے۔ اس اندازے کو proxy کی اپنی کارکردگی کی درجہ بندی سمجھیں، اور provider کے usage page سے اس کی تصدیق کریں۔

سہولت کے بجائے throughput مطلوب ہو تو vLLM base model کے اوپر adapter چلاتا ہے۔

vllm serve Qwen/Qwen3-4B-Instruct-2507 \
  --enable-lora \
  --lora-modules paritok-4b-v1=paritok/paritok-4b-v1 \
  --max-lora-rank 32 \
  --port 8000

--max-lora-rank 32 flag project کی اپنی command میں شامل ہے، کیونکہ adapter کا rank 32 ہے۔ پھر paritok.yaml میں local_model.base_url کو http://localhost:8000/v1 پر set کریں، تاکہ proxy Ollama کے بجائے vLLM سے بات کرے۔

Ollama کو شروع کرنا زیادہ آسان ہے۔ vLLM concurrent requests کو کہیں بہتر طریقے سے handle کرتا ہے، اور جب ایک سے زیادہ agents اسی box کو share کریں تو یہ فرق فوراً اہم ہو جاتا ہے۔ Ollama اور vLLM کے درمیان عملی فرق آپ کے لیے فیصلہ کرتا ہے کہ کون سا اختیار استعمال کرنا ہے۔

base URL environment variables کے ذریعے agent کو proxy سے منسلک کریں۔

export ANTHROPIC_BASE_URL=http://127.0.0.1:8080
export OPENAI_BASE_URL=http://127.0.0.1:8080

Codex CLI OPENAI_BASE_URL کو نظرانداز کرتا ہے، اس لیے جب paritok.yaml میں codex.enabled: true set ہو تو paritok up آپ کے لیے ~/.codex/config.toml لکھتا ہے۔ صرف variable export کرنے سے Codex براہ راست provider سے بات کرتا رہتا ہے۔ اس کی علامت /stats counter ہے جو کام کے دوران کبھی آگے نہیں بڑھتا۔

Listener کو 127.0.0.1 پر رکھیں، کبھی 0.0.0.0 پر نہیں۔ Proxy ہر request کے ساتھ فراہم کیے گئے credentials کو upstream forward کرتا ہے، اور اس کا غیرمصدقہ /stats endpoint اصل اور compressed content کے نمونے ظاہر کرتا ہے۔ اس لیے internet-facing listener private context اور مقامی compression resources کو expose کرتا ہے۔ Port کھولنے کے بجائے SSH tunnel یا VPN کے ذریعے laptop سے اس تک پہنچیں۔

اسے systemd کے تحت چلائیں تاکہ reboot کے بعد بھی یہ جاری رہے۔ Paths کو اپنی installation کے مطابق تبدیل کریں۔ paritok user بنائیں، جس کے نام سے unit چلے گی، اور اسے install directory تک رسائی دیں:

sudo useradd --system --home-dir /opt/paritok --shell /usr/sbin/nologin paritok
sudo chown -R paritok:paritok /opt/paritok
[Unit]
Description=Paritok compression proxy
After=network-online.target

[Service]
User=paritok
WorkingDirectory=/opt/paritok
ExecStart=/opt/paritok/venv/bin/paritok proxy --port 8080 --config-file /opt/paritok/paritok.yaml
Restart=on-failure

[Install]
WantedBy=multi-user.target

sudo systemctl enable --now paritok کے ذریعے اسے enable کریں، پھر دوبارہ curl /health چلائیں۔ جو unit start ہوتے ہی exit کر جائے، عموماً اس کا مطلب config file کا path غلط ہے۔ journalctl -u paritok -n 50 اس کی وجہ دکھاتا ہے۔

میزبان شدہ اختیار، اور اس کی قیمت

یہ project compression کو بطور service بھی فراہم کرتا ہے۔ use_gpu_server: true کو paritok.com سے حاصل کردہ API key کے ساتھ set کریں، اور 4B model اس کے hardware پر چلتا ہے۔ 2 November 2026 تک یہ prepaid credit سے compress کی جانے والی ہر million file tokens کے لیے $0.30 وصول کرتا ہے، جبکہ tool-schema filtering مفت ہے۔ نئے accounts کو card کی ضرورت کے بغیر $5 کا free credit ملتا ہے۔ وہ launch period جس کے دوران hosted service مفت تھی، 1 October 2026 کو ختم ہو گیا؛ اس لیے اب یہ paid service ہے۔ اس سے compression-model hosting کا کام ختم ہو جاتا ہے، جبکہ gateway آپ ہی چلاتے ہیں۔

اس کا مطلب یہ بھی ہے کہ آپ کے prompts اور وہ files جنہیں آپ کا agent پڑھتا ہے، آپ کی machine سے باہر نکل کر کسی third party تک پہنچتے ہیں، اور اس کے بعد آپ کے model provider تک جاتے ہیں۔ Self-hosting کا مقصد عین اسی intermediary hop سے بچنا ہے۔ یہ flag set کرنے سے پہلے طے کریں کہ آپ ان دونوں میں سے کس چیز کو ترجیح دے رہے ہیں، کیونکہ flag کو تبدیل کرنا ایک سطر کا کام ہے، لیکن اس کے نتائج معمولی نہیں۔

اپنا کام پہلے اور بعد میں کیسے ناپیں

شائع شدہ اعداد و شمار پروجیکٹ کے اعداد و شمار ہیں، جو SWE-bench Lite پر پروجیکٹ کے harness سے حاصل کیے گئے ہیں۔ آپ کی repository، SWE-bench Lite نہیں ہے۔ اپنے اعداد و شمار خود ناپیں۔

  • ایک معمول کا ہفتہ proxy کے بغیر گزاریں۔ اپنے provider کے usage page سے تازہ input، cache-write، cache-read اور output tokens الگ الگ سطروں میں درج کریں، انہیں ایک مجموعی dollar رقم کی صورت میں درج نہ کریں۔
  • اگلے ہفتے proxy کو سامنے رکھ کر اسی نوعیت کا کام کریں۔
  • input کی categories کا موازنہ ان کی اصل قیمتوں پر کریں اور output cost میں ہونے والی کسی بھی تبدیلی کو شامل کریں۔ proxy output کو compress نہیں کرتا، لیکن agent کے رویے اور turns کی تعداد میں تبدیلی سے آپ کے خریدے گئے output کی مقدار پھر بھی متاثر ہوتی ہے۔
  • ان tasks کی تعداد گنیں جنہیں آپ کو دوبارہ کرنا پڑا۔ یہ اس تبادلے کا quality والا حصہ ہے، اور کوئی dashboard اسے رپورٹ نہیں کرتا۔
  • totals کا موازنہ کرنے سے پہلے دوسرے ہفتے کے total میں GPU hours شامل کریں۔

input اور output کو الگ رکھنا اس لیے اہم ہے کہ دونوں کی قیمتیں بہت مختلف ہیں اور compressor ان میں سے صرف ایک کو متاثر کرتا ہے۔ 2 November 2026 تک، Claude Sonnet 4.6 کی قیمت $3 فی million input tokens اور $15 فی million output tokens ہے، جبکہ prompt-cache read کی قیمت input rate کا 10%، یعنی $0.30 فی million ہے۔ نئے Claude Sonnet 5.5 کی قیمتیں $2 اور $10 ہیں، جبکہ اس کے cache reads کی قیمت input rate کا 5%، یعنی $0.10 فی million ہے۔ input اور output token cost کے درمیان فرق یہ طے کرتا ہے کہ input-side compressor آپ کے لیے کسی فائدے کا باعث ہوگا یا نہیں۔ Claude Code کے tokens حقیقت میں کہاں خرچ ہوتے ہیں یہ بتاتا ہے کہ آپ کے context کا کون سا حصہ compress کرنے کے قابل حد تک بڑا ہے۔

Prompt caching خاص طور پر tool-filter کے حساب کو پیچیدہ بناتی ہے۔ tool block request کے شروع میں ہوتا ہے، اس لیے پہلے turn کے بعد عموماً یہ cache hit ہوتا ہے؛ Sonnet 4.6 پر اس کی قیمت input price کا 10% ہے۔ cached block سے 21,000 tokens کم کرنے پر $0.30 فی million کے حساب سے فی turn تقریباً $0.006 کی بچت ہوتی ہے، نہ کہ $0.063، جو uncached rate سے ظاہر ہوتی۔ پروجیکٹ session کے دوران filtered block کو تبدیل نہیں کرتا، تاکہ cached prefix برقرار رہے۔ اگر کوئی filter ہر turn میں tools دوبارہ منتخب کرے تو وہ prefix invalid ہو جائے گا اور filter کی لاگت ممکنہ بچت سے زیادہ ہو سکتی ہے۔

جو کچھ اب بھی غیرمصدقہ ہے

اوپر دیے گئے ہر performance number کا ماخذ خود project ہے۔ synthetic-corpus compression کی ایک independent جانچ موجود ہے، لیکن وہ واضح طور پر SWE-bench task success کو test نہیں کرتی؛ project کے SWE-bench Lite solve-quality اعداد و شمار کی آزادانہ طور پر اب تک تصدیق نہیں ہوئی۔ مزید یہ کہ gateway کو July 2026 میں open-source کیا گیا، اس لیے اس code کے بارے میں operational history بھی بہت کم ہے۔ compression rate اور quality-retained figure دونوں اسی فریق نے ناپے ہیں جو ان کے اچھا نظر آنے سے فائدہ اٹھاتا ہے۔ اس کا مطلب یہ نہیں کہ یہ اعداد غلط ہیں۔ اس کا مطلب یہ ہے کہ یہ غیرمصدقہ ہیں، اور آپ کو انہیں اپنے تیار کردہ number سے مختلف درجے کا اعتماد دینا چاہیے۔

ایک documented behaviour ایسا ہے جسے اپنے setup کو موردِ الزام ٹھہرانے سے پہلے جاننا مفید ہے۔ tool filter کے ذریعے استعمال ہونے والا embedding model startup کے وقت نہیں بلکہ پہلی request پر load ہوتا ہے، اس لیے project کے documentation میں 10 سے 15 seconds کا warm-up اور اس کے بعد ہر call کے لیے تقریباً 15 ms درج ہے۔ proxy شروع ہونے کے بعد ایک throwaway request بھیج دیں۔ اس سے آپ کی پہلی حقیقی agent turn رکی ہوئی محسوس نہیں ہوگی۔

آپ ایک afternoon میں چار چیزیں خود طے کر سکتے ہیں: آیا proxy start ہو کر چلتا رہتا ہے، آیا /stats کام کے دوران تبدیل ہوتا ہے، آیا آپ کے provider کی input-token line میں واقعی کمی آتی ہے، اور آیا agent اب بھی کام مکمل کرتا ہے۔ آپ کے setup کے لیے فیصلہ کن حیثیت ان باتوں کی ہے، نہ کہ کسی published benchmark کی۔

آپ کے دوسرے tooling کے مقابلے میں اس کی جگہ کے بارے میں: self-hosted LiteLLM gateway requests کو ان کے contents تبدیل کیے بغیر route اور meter کرتا ہے، اس لیے دونوں مختلف مسائل حل کرتے ہیں اور انہیں chain کیا جا سکتا ہے، جبکہ Paritok agent کے سب سے قریب رہتا ہے۔ اگر اصل مقصد اس مخصوص tool کے بجائے bill کم کرنا ہے تو VPS پر agent کے لیے cost controls کا وسیع مجموعہ میں ایسی کئی تبدیلیاں شامل ہیں جنہیں پہلے آزمانے پر کوئی لاگت نہیں آتی۔

FAQ

کیا Paritok میرے API bill کو کم کرتا ہے یا صرف context usage کو؟

یہ request کو provider تک پہنچنے سے پہلے مختصر کرتا ہے؛ bill میں بچت حذف کیے گئے tokens کی قیمتوں اور agent کے نتیجے میں بننے والے turns کی تعداد پر منحصر ہے۔ اس کمی کا حجم headline میں بتائی گئی شرح سے کم ہے۔ 74% کا عدد compress کیے جانے والے content کی compression rate ہے۔ End to end، project کے مطابق ایک turn پر input-token savings تقریباً 25% اور turn 20 تک متوقع طور پر 63% ہے۔ Output tokens بغیر تبدیلی کے گزر جاتے ہیں، لیکن تیار کیے جانے والے output کی مقدار اب بھی agent کے رویے پر منحصر ہے۔

compression model کو self-host کرنے کے لیے مجھے کتنا GPU درکار ہے؟

GPU اختیاری ہے: Ollama model کو CPU پر بھی چلا سکتا ہے۔ q4 build تقریباً 2.5 GB اور f16 build تقریباً 8 GB ہے، اس لیے model 24 GB card میں کافی اضافی گنجائش کے ساتھ سما جاتا ہے۔ چھوٹا card بھی کام کرتا ہے، اور اس سے break-even حساب آپ کے حق میں تبدیل ہوتا ہے۔ Tool-schema filter کے لیے GPU کی بالکل ضرورت نہیں: یہ BAAI/bge-small-en-v1.5 استعمال کرتا ہے، جو 130 MB کا embedding model ہے اور CPU پر چلتا ہے۔ ایک عام VPS پر paritok[toolselect] انسٹال کریں اور تھوڑی RAM کی لاگت میں tool-block reduction حاصل کریں۔

اگر compressor کوئی ایسی چیز حذف کر دے جس کی agent کو ضرورت تھی تو کیا ہوتا ہے؟

کچھ بھی مستقل طور پر ضائع نہیں ہوتا۔ Model آگے بھیجے جانے والے متن سے spans حذف کرتا ہے، لیکن compressed segments میں [REF:id] tag شامل ہوتا ہے اور model read_original یا expand_context کے ذریعے مکمل متن بحال کر لیتا ہے۔ Default tool filter غیر منتخب standard tools کو حذف کرتا ہے اور غیر منتخب MCP tools کو بھی حذف کرتا ہے، جب تک اس کا MCP relevance signal فعال نہ ہو؛ ایسی صورت میں یہ ان MCP tools کے stubs بناتا ہے۔ Tool recovery کے لیے gateway_search_tools اور missing-tool messages کی detection استعمال ہوتی ہے۔ حقیقی خطرہ missing file سے زیادہ خاموش ہوتا ہے: model lossy excerpt کی بنیاد پر کام کرتا ہے اور اسے کبھی احساس نہیں ہوتا کہ اسے اصل متن طلب کرنا چاہیے۔ SWE-bench Lite پر 86.5% quality-retained figure، recall disabled اور production edit recovery enabled کے ساتھ، compressed raw source کی single-shot comprehension کو ناپتی ہے؛ یہ CPU tool-schema filter یا مکمل multi-turn gateway کو نہیں ناپتی۔

میری پہلی request میں پندرہ seconds کیوں لگتے ہیں؟

Tool filter کے پیچھے موجود embedding model startup کے وقت نہیں بلکہ پہلی request پر load ہوتا ہے۔ Project میں warm-up کے لیے 10 سے 15 seconds درج ہیں، جس کے بعد ہر call میں تقریباً 15 ms لگتے ہیں۔ Proxy شروع کرنے کے بعد curl کے ساتھ ایک throwaway request بھیج دیں، تو پہلی حقیقی agent turn رکے گی نہیں۔

کیا مجھے self-hosting کے بجائے hosted GPU server استعمال کرنا چاہیے؟

اس سے compression-model hosting اور GPU rent کی ضرورت ختم ہو جاتی ہے، جبکہ gateway کی maintenance پھر بھی آپ کو کرنی ہوگی۔ 2 November 2026 تک اس کی لاگت compressed کیے گئے ہر million file tokens کے لیے $0.30 ہے، جو prepaid credit سے ادا ہوتی ہے، اور نئے accounts کے لیے $5 کا free credit دستیاب ہے؛ free launch period 1 October 2026 کو ختم ہو چکا تھا۔ یہ آپ کے prompts اور وہ files بھی پڑھتا ہے جو آپ کا agent استعمال کرتا ہے، اور انہیں آپ کے model provider تک پہنچنے سے پہلے ایک third party کو بھیجتا ہے۔ اگر آپ code کو اپنے زیرِکنٹرول infrastructure پر رکھنے کے لیے self-hosting کر رہے ہیں تو یہ setting آپ کے آغاز کی وجہ ہی ختم کر دیتی ہے۔ Self-hosting compression کو آپ کے اپنے box پر رکھتی ہے؛ compressed requests اور provider credentials پھر بھی upstream آپ کے model provider تک جاتے ہیں۔

کیا یہ مضمون مفید تھا؟