SSD Nodes Learn Hosting plans →
নির্দেশিকা Matt Connorদ্বারা Matt Connor

Paritok token gateway কি coding agent-এর খরচ কমায়?

Paritok file read, tool output ও schema সংকুচিত করে token bill কমানোর দাবি করে। প্রকল্পের 74% সাশ্রয়ের হিসাব, কাজের পদ্ধতি ও break-even math জানুন।

একটি অনুরোধে Paritok কী করে

Paritok একটি token gateway: এটি এমন একটি proxy, যা আপনার coding agent এবং model API-এর মাঝখানে থাকে এবং প্রতিটি অনুরোধ forward করার আগে সংকুচিত করে। আপনার agent provider-এর পরিবর্তে http://127.0.0.1:8080-এর সঙ্গে যোগাযোগ করে। proxy tool schema, file read, tool output এবং আগের turn-গুলো ছোট করে, ছোট payload provider-এর কাছে পাঠায় এবং reply অপরিবর্তিত অবস্থায় ফিরিয়ে দেয়।

Provider-এর কাছে যা পৌঁছায়, তার ভিত্তিতেই আপনার বিল হয়। তবে invoice নির্ভর করে কোন token সরানো হয়েছে, সেগুলোর cache pricing এবং agent কতগুলি turn নিয়েছে তার ওপর। এটিই পুরো ধারণা। এটি “আপনার context বেশি সময় স্থায়ী হয়” ধরনের দাবির থেকে আলাদা। এই কারণেই tool-টি শুধু পরিপাটি করার উপায় নয়, বরং আগ্রহের বিষয়।

প্রকল্পটি নতুন। Gateway-টির source code 15 July 2026-এ open-source করা হয়। PyPI-তে v1.3.14-এর তারিখ 6 October 2026 এবং v1.3.0-এর তারিখ 5 August। Weights এবং gateway code Apache 2.0 license-এর অধীনে রয়েছে। Compression model-টি Qwen3-4B-Instruct-2507-এর ওপর তৈরি একটি LoRA (low-rank adaptation) adapter। এটি বাস্তব coding-agent trajectory থেকে নেওয়া 45,000টি segment-এর একটি pool থেকে distilled করা হয়েছে। এর মধ্যে 40,606টি teacher validation পাস করে training example হয়েছে।

কেন এটি context trimming নয়

Trimming স্থায়ীভাবে তথ্য মুছে দেয়। কোনো agent তার context limit-এর কাছাকাছি পৌঁছে সবচেয়ে পুরোনো turn-গুলো বাদ দিলে, turn 3-এ পড়া file-টি আর থাকে না। turn 20-এ file-টি প্রয়োজন হলে agent সেটি আবার পড়ে। ফলে ওই token-গুলোর জন্য দ্বিতীয়বার খরচ হয়। সাশ্রয়টি আসলে সাময়িক ঋণ ছিল।

Paritok একটি segment-কে [REF:id] tag-সহ সংক্ষিপ্ত রূপে প্রতিস্থাপন করে এবং সম্পূর্ণ text proxy-তে সংরক্ষণ করে। model read_original বা expand_context কল করে segment পুনরুদ্ধার করতে পারে। এতে failure mode পরিবর্তিত হয়। Trimmer ভুলে যায় এবং আপনাকে কখনো জানায় না। Compressor model-কে lossy excerpt দেয়। excerpt যথেষ্ট না হলে model মূল text চাইতে পারে।

Filtered tool schema পুনরুদ্ধারযোগ্য থাকে। তবে default adaptive filter নির্বাচিত নয় এমন standard tool বাদ দেয় এবং MCP relevance signal সক্রিয় না হলে নির্বাচিত নয় এমন MCP tool-ও বাদ দেয়। ওই signal সক্রিয় হলে নির্বাচিত নয় এমন MCP tool-গুলো stub হিসেবে রাখা হয়। gateway_search_tools পুনরুদ্ধার সমর্থন করে। Gateway missing-tool message-ও শনাক্ত করে এবং retry করার আগে মিলে যাওয়া tool inject করে। এটি গুরুত্বপূর্ণ। কারণ কোনো filter স্থায়ীভাবে একটি tool আড়াল করলে আপনার agent কী করতে পারে তা বদলে যায়। তখন কোনো task নীরবে ভুলভাবে সম্পন্ন হওয়ার মাধ্যমে আপনি বিষয়টি জানতে পারবেন।

তিনটি লিভার, এবং কোনটি বিনামূল্যে

প্রথম লিভার হলো tool-schema filter। প্রতিটি request-এর সঙ্গে সম্পূর্ণ tools array পাঠানো হয়। কোনো MCP (model context protocol) server সংযুক্ত না থাকা Claude Code turn-এ projectটি এই block-এর আকার প্রায় 29,000 token বলে মাপে; MCP সংযুক্ত থাকলে এটি 44,000 থেকে 65,000 token দেখায়। এই filter ব্যবহারকারীর request এবং প্রতিটি tool description-কে BAAI/bge-small-en-v1.5, 130 MB-এর একটি embedding model দিয়ে embed করে। এরপর মিল থাকা tool-গুলো রাখে, নির্বাচিত না হওয়া standard tool-গুলো বাদ দেয়, এবং MCP relevance signal সক্রিয় হলেই কেবল নির্বাচিত না হওয়া MCP tool-গুলোর stub রাখে। অন্যথায় সেগুলোকেও বাদ দেয়। Project-এর 29,000-token উদাহরণে blockটি প্রায় 8,000 token-এ নেমে আসে। এই embedding model CPU-তে চলে।

দ্বিতীয় লিভার হলো content compression। এই অংশে 4B model ব্যবহার করা হয়, GPU-তে অথবা CPU-তে Ollama-এর মাধ্যমে। File read, tool output এবং history-কে মূল আকারের 25.7%-এ নামিয়ে আনা হয়। Modelটি মূলত span নির্বাচন করে, পুনর্লিখন করে না। তবে reasoning summary এবং tool-call framing-এর মতো content-এর ক্ষেত্রে সীমিত rewriting অনুমোদিত। Project-এর paper অনুযায়ী, teacher-generated training corpus-এ output হওয়া identifier, path এবং number-এর 96.0% input-এ হুবহু উপস্থিত ছিল। Trained model-এর held-out SWE-bench Lite output একই audit-এ 96.2% score পেয়েছে। 74% শিরোনামটি সেখান থেকেই এসেছে। বিষয়টি সতর্কভাবে পড়ুন: 74% হলো যে content compress করা হয়, তার compression rate; এটি আপনার bill-এর 74% কমে যাওয়া নয়।

তৃতীয় লিভার হলো history summarization। Default হিসেবে configured window-এর 80% অতিক্রম করলে পুরোনো turn-গুলোর summary তৈরি হয়। সাম্প্রতিক চারটি turn অপরিবর্তিত থাকে। ফলে দীর্ঘ session limit-এ পৌঁছে বন্ধ না হয়ে চলতে পারে।

Self-hosting-এর জন্য GPU বাধ্যতামূলক নয়। এই পৃষ্ঠার সবচেয়ে কার্যকর তথ্য এটিই। pip install "paritok[toolselect]" সাধারণ CPU VPS-এ কোনো per-token fee ছাড়াই tool filter দেয়। GPU card ভাড়া নেওয়ার আগে এটি পরীক্ষা করে দেখুন।

প্রকল্পটি কী পরিমাপ করেছে এবং কোন harness-এ

চার্টSWE-bench Lite: compression rate against solve quality retained (project's published figures)
এই চার্টের পেছনের ডেটা
[
  {
    "label": "Paritok-4B-v1",
    "compressed_to_pct": 25.7,
    "quality_retained_pct": 86.5
  },
  {
    "label": "gpt-4.1-mini",
    "compressed_to_pct": 50.2,
    "quality_retained_pct": 85.6
  },
  {
    "label": "gpt-5",
    "compressed_to_pct": 61.9,
    "quality_retained_pct": 93.6
  }
]

এগুলো প্রকল্পের নিজস্ব প্রকাশিত পরিসংখ্যান, যা SWE-bench Lite-এর বিপরীতে প্রকল্পের নিজস্ব harness-এ পরিমাপ করা হয়েছে। Paritok-4B-v1 মূল আকারের 25.7%-এ content সংকুচিত করে এবং uncompressed solve rate-এর 86.5% ধরে রাখে। compressor হিসেবে gpt-5 ব্যবহার করলে আরও বেশি quality ধরে রাখা যায়, 93.6%, কিন্তু compression হয় মাত্র 61.9%-এ। অর্থাৎ frontier price সাশ্রয়ের জন্য আপনাকে frontier price-ই দিতে হবে।

quality column সঠিকভাবে পড়ুন। Retained quality হলো compressor solve rate এবং uncompressed baseline solve rate-এর ভাগফল। 86.5% ধরে রাখার অর্থ baseline-এর তুলনায় solves-এর নিট হ্রাস 13.5%। এটি baseline-এ solve হওয়া সমস্যাগুলোর কত অংশ হারানো হয়েছে তা গণনা করে না, কারণ compressed run ভিন্ন সমস্যাও solve করতে পারে। এই পরিসংখ্যানটি recall disabled এবং production edit recovery enabled অবস্থায় compressed raw source-এর single-shot comprehension পরিমাপ করে। এটি CPU tool-schema filter বা সম্পূর্ণ multi-turn gateway পরিমাপ করে না।

চার্টReported input-token saving as a session grows (project's own harness)
এই চার্টের পেছনের ডেটা
[
  {
    "label": "Turn 1",
    "saved_pct": 25
  },
  {
    "label": "Turn 5",
    "saved_pct": 39
  },
  {
    "label": "Turn 12",
    "saved_pct": 57
  },
  {
    "label": "Turn 20",
    "saved_pct": 63
  }
]

একটি session চলতে থাকলে end-to-end সাশ্রয় বাড়ে, কারণ history জমা হয় এবং history-ই সংকুচিত করা হয়। প্রকল্পের প্রতিবেদনে বলা হয়েছে, single turn-এ প্রায় 25%, turn 5-এ 39%, এবং turn 20-এ 63% সাশ্রয় হয়। শুধু turn 1 থেকে 5 পর্যন্ত পরিমাপ করা হয়েছে; README-তে পরবর্তী row-গুলোকে projection বলা হয়েছে। সাশ্রয় কোথায় স্থির হয়, তাও সেখানে উল্লেখ আছে: 200,000 token budget-এ প্রতি turn-এর content saving প্রায় 48,000 token-এ স্থির হয়, আনুমানিক turn 8 থেকে 12-এর মধ্যে। কারণ context পূর্ণ হয়ে গেলে history আর বাড়ে না। আলাদা tool-filter saving প্রতি turn-এ প্রায় 21,000 token যোগ করে। ফলে projected combined plateau প্রতি turn-এ প্রায় 69,000 token হয়। বহুল উদ্ধৃত "past 85%" পরিসংখ্যানটি context-saturated session বোঝায়। এটি সর্বোত্তম পরিস্থিতি। একই README-তে বলা হয়েছে, default settings-এ saving প্রায় 72%-এর ceiling-এর দিকে plateau করে। তাই পরিকল্পনা করার সময় এই পরিসংখ্যানের ওপর নির্ভর করবেন না।

Paritok-এর জন্য 24GB GPU কি খরচ পুষিয়ে দেয়?

GPU ঐচ্ছিক, এবং মডেলটি 24 GB-এর চেয়ে ছোট কার্ডেও চলে। একটি উদাহরণমূলক ভাড়ার হিসাবের জন্য 24 GB কার্ডের ঘণ্টাপ্রতি $0.44 ধরুন। পুরো মাস চালু রাখলে তা 730 ঘণ্টা, অর্থাৎ $321। শুধু কর্মঘণ্টায় চালান—দিনে 8 ঘণ্টা, 22 দিন—তাহলে 176 ঘণ্টা, অর্থাৎ $77।

এবার token কমার পরিমাণকে ডলারে হিসাব করুন। এই হ্রাস input token-এর ক্ষেত্রে প্রযোজ্য। Output token proxy অপরিবর্তিতভাবে পাঠায়, তাই proxy সেগুলো compress করে না। আপনার provider-এর rate ব্যবহার করে fresh input, cache writes এবং cache reads-এর খরচ আলাদাভাবে হিসাব করুন। এরপর মোট API cost আগে ও পরে তুলনা করুন। আপনার মোট ডলার খরচের 80% input থেকে এলেও, token reduction-কে 0.8 দিয়ে গুণ করলে বিলের সাশ্রয় প্রমাণ হয় না।

চার্টMonthly API saving needed to cover an illustrative $0.44/hour card
এই চার্টের পেছনের ডেটা
[
  {
    "label": "Always on (730 hours)",
    "required_api_saving_usd": 321.2
  },
  {
    "label": "Workday only (176 hours)",
    "required_api_saving_usd": 77.44
  }
]

পরিমাপ করা মাসিক API saving $321.2 ছাড়ালে, চালু রাখা কার্ডের খরচ নিজেই উঠে আসে। কর্মঘণ্টার বাইরে instance বন্ধ রাখলে প্রয়োজনীয় সাশ্রয় $77.44। শুধু 85% token reduction দিয়ে 68% bill saving প্রমাণ হয় না। তাই এর ভিত্তিতে মাসিক agent-spend threshold-ও নির্ধারণ করা যায় না। সেই threshold পেতে rental cost-কে আপনার পরিমাপ করা bill-saving fraction দিয়ে ভাগ করুন।

চার্টে যতটা বোঝা যায়, বাস্তবে এই ব্যবস্থা তার চেয়ে ভালো হতে পারে এমন দুটি কারণ আছে। মডেলটির 24 GB প্রয়োজন হয় না: q4 build প্রায় 2.5 GB এবং f16 build প্রায় 8 GB। তাই ছোট কার্ড ব্যবহার করলে, অথবা অন্য কোনো কাজে আগে থেকেই চালু থাকা GPU box ব্যবহার করলে, চার্টের প্রতিটি সংখ্যা কমে যাবে। আর কেউ coding না করলে instance বন্ধ রাখা এখানে সবচেয়ে বড় প্রভাব ফেলে, কারণ এতে ভাড়ার খরচ প্রায় তিন-চতুর্থাংশ কমে যায়।

একটি কারণে খরচ বা অসুবিধা বাড়ে। Compression pass-এর জন্য বাস্তব computation প্রয়োজন। 4B model যে প্রতিটি token compress করে, সেটি তাকে পড়তে হয়। আর যে প্রতিটি span সে রেখে দেয়, সেটি আবার লিখে output করতে হয়। ফলে প্রতিটি agent turn-এ latency যোগ হয়। ঘণ্টাভিত্তিক ভাড়া করা কার্ডে এই খরচ invoice-এর আলাদা লাইনে দেখা যায় না; waiting time হিসেবে দেখা যায়। তাই নিজে অনুভব না করা পর্যন্ত এটি সহজেই চোখ এড়িয়ে যেতে পারে।

সাধারণভাবে rented GPU hours এবং API tokens-এর মধ্যে তুলনা করলে, GPU VPS এবং API tokens-এর break-even inference-এর ক্ষেত্রেও একই হিসাব প্রয়োগ করে।

VPS-এ Paritok gateway চালানো

PyPI-এর package metadata-তে Python 3.10 বা তার পরের সংস্করণ গ্রহণ করা হয়, যদিও README badge-এ 3.11+ লেখা আছে। Ubuntu 24.04-এ Python 3.12 থাকে, তাই CPU tool filter-এর জন্য একটি সাধারণ VPS image যথেষ্ট।

sudo apt update && sudo apt install -y python3-venv curl
python3 -m venv /opt/paritok/venv
source /opt/paritok/venv/bin/activate
pip install "paritok[proxy]==1.3.14"
pip install "paritok[toolselect]==1.3.14"

সংস্করণটি নির্দিষ্ট করে দিন। PyPI অনুযায়ী v1.3.0 প্রকাশিত হয়েছে 5 August 2026-এ এবং v1.3.14 প্রকাশিত হয়েছে 6 October 2026-এ। এই গতিতে পরিবর্তনশীল কোনো project release-এর মধ্যে নাম পরিবর্তন করতে পারে: v1.3.0 নিজেই তার API-তে expand_context-এর নাম পরিবর্তন করে read_original রেখেছিল। শুধু pip install paritok ব্যবহার করলে, অথবা main-এর একটি git clone ব্যবহার করলে, পরের সপ্তাহে আপনি ভিন্ন gateway পেতে পারেন এবং আপনার মাপা সংখ্যাগুলো কোন gateway তৈরি করেছে তার কোনো রেকর্ড থাকবে না।

ডিফল্ট backend হলো Ollama। Model pull করুন, তারপর proxy যে সংক্ষিপ্ত নাম খোঁজে সেটি দিন।

ollama pull paritok/paritok-4b-v1
ollama cp paritok/paritok-4b-v1 paritok-4b-v1

Local model প্রতিটি compress করা segment-এর জন্য সংরক্ষিত span-গুলো লিখে রাখে। তাই compression pass দীর্ঘ সময় চললে তা agent turn আটকে যাওয়া হিসেবে দেখা যায়। output length-এর জন্য Ollama-এর num_predict cap এটি সীমাবদ্ধ করে।

এর পাশে paritok.yaml লিখুন। use_gpu_server: false compression-কে আপনার নিজের hardware-এ চালু রাখে।

use_gpu_server: false
local_model:
  base_url: http://localhost:11434/v1
paritok proxy --port 8080 --config-file paritok.yaml

paritok up model না থাকলে সেটি pull করে এবং port 8080-এ proxy চালু করার shortcut; Ollama আগে থেকেই install করা থাকতে হবে। কোনো agent-কে proxy-এর দিকে পাঠানোর আগে proxy পরীক্ষা করুন।

curl http://127.0.0.1:8080/health
curl http://127.0.0.1:8080/stats

/health "status":"ok" এবং একটি version string-সহ ছোট একটি JSON object ফেরত দেয়। /stats compression-এর মোট পরিমাণ এবং proxy নিজে কতটা সাশ্রয় করেছে বলে অনুমান করছে তা ফেরত দেয়। এই অনুমানকে proxy-এর নিজের কাজের মূল্যায়ন হিসেবে দেখুন এবং provider-এর usage page-এর সঙ্গে মিলিয়ে নিশ্চিত করুন।

সুবিধার বদলে throughput প্রয়োজন হলে vLLM base model-এর ওপর adapter serve করে।

vllm serve Qwen/Qwen3-4B-Instruct-2507 \
  --enable-lora \
  --lora-modules paritok-4b-v1=paritok/paritok-4b-v1 \
  --max-lora-rank 32 \
  --port 8000

--max-lora-rank 32 flag-টি project-এর নিজস্ব command-এ আছে, কারণ adapter-এর rank 32। এরপর paritok.yaml-এ local_model.base_url-কে http://localhost:8000/v1 সেট করুন, যাতে proxy Ollama-এর বদলে vLLM-এর সঙ্গে যোগাযোগ করে।

Ollama দ্রুত চালু করা যায়। একাধিক agent একই box ব্যবহার করলেই vLLM concurrent request অনেক ভালোভাবে পরিচালনা করে, তাই তখন এটি গুরুত্বপূর্ণ হয়ে ওঠে। Ollama এবং vLLM-এর ব্যবহারিক পার্থক্য আপনার ক্ষেত্রে কোনটি বেছে নেবেন তা নির্ধারণ করবে।

Base URL environment variable ব্যবহার করে agent-কে proxy-এর দিকে পাঠান।

export ANTHROPIC_BASE_URL=http://127.0.0.1:8080
export OPENAI_BASE_URL=http://127.0.0.1:8080

Codex CLI OPENAI_BASE_URL উপেক্ষা করে। তাই paritok.yaml-এ codex.enabled: true সেট করা থাকলে paritok up আপনার জন্য ~/.codex/config.toml লিখে দেয়। শুধু variable export করলে Codex সরাসরি provider-এর সঙ্গে কথা বলে যাবে। এর লক্ষণ হলো কাজ করার সময় /stats counter কখনো বাড়বে না।

Listener-টি 127.0.0.1-এ রাখুন, কখনো 0.0.0.0-এ নয়। Proxy প্রতিটি request-এর সঙ্গে সরবরাহ করা credential upstream-এ পাঠায়। এর unauthenticated /stats endpoint মূল এবং compressed content-এর নমুনা প্রকাশ করে। তাই Internet-facing listener private context এবং local compression resource উন্মুক্ত করে। Port খোলার বদলে SSH tunnel বা VPN ব্যবহার করে laptop থেকে এতে সংযোগ করুন।

Reboot-এর পরেও চলমান রাখতে এটি systemd-এর অধীনে চালান। আপনার install অনুযায়ী path-গুলো পরিবর্তন করুন। Unit যে paritok user হিসেবে চলবে, সেই user তৈরি করুন এবং তাকে install directory-র access দিন:

sudo useradd --system --home-dir /opt/paritok --shell /usr/sbin/nologin paritok
sudo chown -R paritok:paritok /opt/paritok
[Unit]
Description=Paritok compression proxy
After=network-online.target

[Service]
User=paritok
WorkingDirectory=/opt/paritok
ExecStart=/opt/paritok/venv/bin/paritok proxy --port 8080 --config-file /opt/paritok/paritok.yaml
Restart=on-failure

[Install]
WantedBy=multi-user.target

sudo systemctl enable --now paritok দিয়ে এটি enable করুন, তারপর আবার curl /health চালান। কোনো unit start হয়ে সঙ্গে সঙ্গে exit করলে সাধারণত configuration file-এর path ভুল থাকে। journalctl -u paritok -n 50 কারণটি দেখায়।

হোস্টেড বিকল্প এবং এর খরচ

প্রকল্পটি compression service হিসেবেও দেয়। paritok.com থেকে পাওয়া API key দিয়ে use_gpu_server: true সেট করলে 4B model তাদের hardware-এ চলে। 2 November 2026 অনুযায়ী, pre-paid credit থেকে এটি compress করা প্রতি million file token-এর জন্য $0.30 বিল করে; tool-schema filtering বিনামূল্যে। নতুন account-এ card ছাড়াই $5 free credit পাওয়া যায়। hosted service বিনামূল্যে থাকার launch period 1 October 2026-এ শেষ হয়েছে। তাই এটি এখন paid service। এতে compression model host করার কাজ থাকে না। তবে gateway আপনাকেই চালাতে হবে।

এর মানে হলো, আপনার prompt এবং agent যে file পড়ে, সেগুলো আপনার machine ছেড়ে third party-তে পৌঁছায়। এরপর সেগুলো আপনার model provider-এ যায়। Self-hosting ঠিক এই hop এড়ানোর জন্য ব্যবহৃত হয়। flag সেট করার আগে আপনি কোন বিষয়টি অগ্রাধিকার দিচ্ছেন তা নির্ধারণ করুন। কারণ flag পরিবর্তন করতে এক লাইনই লাগে। কিন্তু এর প্রভাব এক লাইনে সীমাবদ্ধ নয়।

নিজের কাজের আগে ও পরে কীভাবে পরিমাপ করবেন

প্রকাশিত সংখ্যাগুলো প্রকল্পের সংখ্যা। এগুলো SWE-bench Lite-এ প্রকল্পের নিজস্ব harness ব্যবহার করে পাওয়া। আপনার repository SWE-bench Lite নয়। নিজের কাজের পরিমাপ নিজেই করুন।

  • proxy ছাড়া, path-এ কোনো proxy না রেখে, একটি স্বাভাবিক সপ্তাহ চালান। আপনার provider-এর usage page থেকে fresh input, cache-write, cache-read এবং output token আলাদা লাইনে লিখে রাখুন। এগুলোকে একটি মোট dollar amount হিসেবে লিখবেন না।
  • পরের সপ্তাহে proxy সামনে রেখে একই ধরনের কাজ করুন।
  • input-এর প্রতিটি category-এর প্রকৃত মূল্যে খরচ তুলনা করুন এবং output cost-এ কোনো পরিবর্তন হলে তা অন্তর্ভুক্ত করুন। proxy output compress করে না। তবে agent-এর আচরণ ও turn count বদলালে আপনি কত output কিনছেন, তা পরিবর্তিত হয়।
  • যে task-গুলো আবার করতে হয়েছে, সেগুলো গণনা করুন। এটিই এই বিনিময়ের quality অংশ। কোনো dashboard-ই এটি জানায় না।
  • মোট খরচ তুলনা করার আগে দ্বিতীয় সপ্তাহের GPU hours যোগ করুন।

input এবং output আলাদা করে লেখা গুরুত্বপূর্ণ। কারণ দুটির মূল্য অনেক ভিন্ন, এবং compressor এদের মধ্যে একটিতেই কাজ করে। 2 November 2026 অনুযায়ী, Claude Sonnet 4.6-এর মূল্য প্রতি million input token-এ $3 এবং প্রতি million output token-এ $15। prompt-cache read-এর মূল্য input rate-এর 10%, অর্থাৎ প্রতি million-এ $0.30। নতুন Claude Sonnet 5.5-এর মূল্য $2 এবং $10। এর cache read input rate-এর 5%, অর্থাৎ প্রতি million-এ $0.10। input এবং output token-এর খরচের পার্থক্য নির্ধারণ করে input-side compressor আপনার জন্য আদৌ কতটা উপযোগী। Claude Code-এর token আসলে কোথায় খরচ হয় দেখায়, আপনার context-এর কোন অংশ compress করার মতো যথেষ্ট বড়।

বিশেষ করে tool-filter-এর হিসাবকে prompt caching জটিল করে। tool block request-এর শুরুতে থাকে। তাই প্রথম turn-এর পরে এটি সাধারণত cache hit হয়; Sonnet 4.6-এ এর খরচ input price-এর 10%। cached block থেকে 21,000 token বাদ দিলে প্রতি turn-এ সাশ্রয় হয় 21,000 token-এর $0.30 per million মূল্যে, অর্থাৎ প্রায় $0.006। uncached rate অনুযায়ী যে $0.063 সাশ্রয় হওয়ার কথা মনে হয়, তা নয়। প্রকল্পটি session জুড়ে filtered block অপরিবর্তিত রাখে, যাতে cached prefix পরিবর্তিত না হয়। প্রতি turn-এ নতুন করে tool নির্বাচন করা কোনো filter ওই prefix invalidate করতে পারে এবং এতে সাশ্রয়ের চেয়ে বেশি খরচ হতে পারে।

এখনও যা যাচাই করা হয়নি

উপরের প্রতিটি performance সংখ্যা project নিজেই দিয়েছে। Synthetic corpus-এর compression পরীক্ষা করার একটি স্বাধীন ব্যবস্থা আছে, কিন্তু সেটি স্পষ্টভাবে SWE-bench task-এর success পরীক্ষা করে না; project-এর SWE-bench Lite solve-quality পরিসংখ্যান এখনও স্বাধীনভাবে নিশ্চিত নয়। এছাড়া gateway-টি July 2026-এ open source হওয়ায় codeটির operational history-ও খুব সীমিত। Compression rate এবং quality-retained figure—উভয়ই এমন পক্ষের মাপা, যারা এগুলো ভালো দেখালে উপকৃত হয়। এর অর্থ এই নয় যে সংখ্যাগুলো ভুল। এর অর্থ হলো এগুলো এখনও নিশ্চিত নয়, তাই নিজে তৈরি করা সংখ্যার তুলনায় এগুলোকে ভিন্নভাবে বিবেচনা করা উচিত।

আপনার setup-কে দোষারোপ করার আগে একটি নথিবদ্ধ আচরণ জানা দরকার। Tool filter যে embedding model ব্যবহার করে, সেটি startup-এর সময় নয়, প্রথম request-এর সময় load হয়। তাই project documentation অনুযায়ী warm-up হতে 10 থেকে 15 seconds লাগে; এরপর প্রতিটি call-এ প্রায় 15 ms লাগে। Proxy start হওয়ার পরে একটি ফেলে দেওয়ার মতো request পাঠান। তাহলে agent-এর প্রথম বাস্তব turn আটকে আছে বলে মনে হবে না।

এক বিকেলেই আপনি চারটি বিষয় নিজে নির্ধারণ করতে পারেন: proxy start হয়ে সচল থাকে কি না, কাজ করার সময় /stats পরিবর্তিত হয় কি না, আপনার provider-এর input-token line সত্যিই কমে কি না, এবং agent কাজ শেষ করতে পারে কি না। Published benchmark-এর তুলনায় এগুলোই আপনার setup-এর জন্য অনেক বেশি নির্ভরযোগ্য সিদ্ধান্ত দেবে।

আপনার অন্যান্য tooling-এর পাশে এর অবস্থান সম্পর্কে: self-hosted LiteLLM gateway request-এর content পরিবর্তন না করে সেগুলো route ও meter করে। তাই দুটি ভিন্ন সমস্যার সমাধান করে এবং একসঙ্গে ব্যবহার করা যায়; এখানে Paritok agent-এর সবচেয়ে কাছের স্তরে থাকে। যদি প্রকৃত লক্ষ্য এই নির্দিষ্ট tool নয়, বরং bill কমানো হয়, তাহলে VPS-এ agent-এর জন্য খরচ নিয়ন্ত্রণের বিস্তৃত উপায়গুলো-তে এমন কয়েকটি পরিবর্তন আছে, যেগুলো আগে চেষ্টা করতে কোনো খরচ হয় না।

FAQ

Paritok কি আমার API বিল কমায়, নাকি শুধু context ব্যবহার কমায়?

Provider-এর কাছে পৌঁছানোর আগে এটি request ছোট করে। বিলের সাশ্রয় নির্ভর করে বাদ দেওয়া token-এর মূল্য এবং agent-এর ফলে তৈরি হওয়া turn-এর সংখ্যার ওপর। এই হ্রাসের পরিমাণ headline-এ দেখানো সংখ্যার চেয়ে কম। 74% হলো যে content compress করা হচ্ছে, তার compression rate। End to end হিসাবে, project report অনুযায়ী single turn-এ input-token savings প্রায় 25% এবং turn 20-এ তা 63%-এ পৌঁছাতে পারে। Output token অপরিবর্তিতভাবে pass through করে। তবে কত output তৈরি হবে, তা agent-এর আচরণের ওপর নির্ভর করে।

Compression model self-host করতে কত GPU প্রয়োজন?

GPU বাধ্যতামূলক নয়: Ollama CPU-তেও model চালায়। q4 build-এর আকার প্রায় 2.5 GB এবং f16 build-এর আকার প্রায় 8 GB। তাই model-টি 24 GB card-এ যথেষ্ট অতিরিক্ত জায়গাসহ চলবে। ছোট card-ও কাজ করবে এবং break-even হিসাব আপনার পক্ষে আরও অনুকূল হবে। Tool-schema filter-এর জন্য একেবারেই GPU দরকার নেই। এটি BAAI/bge-small-en-v1.5 ব্যবহার করে, যা 130 MB আকারের একটি embedding model এবং CPU-তে চলে। সাধারণ VPS-এ paritok[toolselect] install করলে অল্প RAM ব্যবহারের বিনিময়ে tool-block reduction পাবেন।

Compressor agent-এর প্রয়োজনীয় কিছু সরিয়ে দিলে কী হয়?

কিছুই স্থায়ীভাবে হারায় না। Model forward করা content থেকে কিছু span মুছে দেয়, কিন্তু compressed segment-এ [REF:id] tag থাকে। Model read_original বা expand_context ব্যবহার করে সম্পূর্ণ text পুনরুদ্ধার করে। Default tool filter unselected standard tool বাদ দেয় এবং MCP relevance signal সক্রিয় না হলে unselected MCP tool-ও বাদ দেয়। Signal সক্রিয় হলে এটি ওই MCP tool-গুলোর stub তৈরি করে। Tool recovery-তে gateway_search_tools এবং missing-tool message শনাক্তকরণ ব্যবহার করা হয়। প্রকৃত ঝুঁকি missing file-এর চেয়ে নীরব: model একটি lossy excerpt ব্যবহার করে কাজ করে এবং মূল text চাওয়া দরকার ছিল—এটি বুঝতে পারে না। SWE-bench Lite-এ 86.5% quality-retained figure-টি recall disabled এবং production edit recovery enabled অবস্থায় compressed raw source একবারে বোঝার ক্ষমতা পরিমাপ করে। এটি CPU tool-schema filter বা সম্পূর্ণ multi-turn gateway পরিমাপ করে না।

আমার প্রথম request-এ পনেরো সেকেন্ড সময় লাগে কেন?

Tool filter-এর পেছনের embedding model startup-এর সময় নয়, প্রথম request-এর সময় load হয়। Project-এর documentation অনুযায়ী warm-up-এ 10 থেকে 15 সেকেন্ড লাগে। এরপর প্রতি call-এ প্রায় 15 ms সময় লাগে। Proxy start করার পরে curl সহ একটি throwaway request পাঠান। তাহলে প্রথম প্রকৃত agent turn আটকে থাকবে না।

Self-hosting-এর বদলে hosted GPU server ব্যবহার করা উচিত কি?

এতে compression-model hosting এবং GPU rent-এর প্রয়োজন থাকে না। তবে gateway আপনাকেই maintain করতে হবে। 2 November 2026 অনুযায়ী compressed প্রতি million file token-এর জন্য খরচ $0.30। এই অর্থ prepaid credit থেকে কাটা হয়। নতুন account-এর জন্য $5 free credit থাকে। Free launch period 1 October 2026-এ শেষ হয়েছে। Model provider-এর কাছে prompt পৌঁছানোর আগে এটি আপনার prompt এবং agent যে file পড়ে, সেগুলো third party-র কাছে পাঠায়। Infrastructure নিজের নিয়ন্ত্রণে রাখা যদি self-host করার কারণ হয়, এই configuration সেই উদ্দেশ্য নষ্ট করে। Self-hosting করলে compression আপনার নিজের machine-এ থাকে। তবে compressed request এবং provider credential আপনার model provider-এর কাছে upstream-এ পাঠানো হয়।

এই লেখাটি কি কাজে লেগেছে?