ஆல் Matt Connor 2026-08-07 · புதுப்பிக்கப்பட்டது 2026-08-30

Paritok token gateway: Coding agent கட்டணத்தை குறைப்பது

Q: compressor, agent-க்குத் தேவையான ஒன்றை நீக்கிவிட்டால் என்னவாகும்?

எதுவும் நீக்கப்படுவதில்லை. சுருக்கப்பட்ட பகுதிகள் [REF:id] tag-ஐக் கொண்டிருக்கும், மேலும் model read_original அல்லது expand_context மூலம் முழு உரையையும் மீட்டெடுக்கும். வடிகட்டப்பட்ட tool schemas நீக்கப்படாமல் stub செய்யப்படுகின்றன, மேலும் model gateway_search_tools மூலம் அவற்றை மீட்டெடுக்கும். உண்மையான ஆபத்து கோப்பு காணாமல் போவதை விட நுணுக்கமானது: model ஒரு lossy summary-யிலிருந்து செயல்படுகிறது, மேலும் அசல் தரவைக் கேட்க வேண்டும் என்பதை அது உணராமல் போகலாம். SWE-bench Lite-ல் உள்ள 86.5% quality-retained என்ற புள்ளிவிவரம் இதையே அளவிடுகிறது.

Paritok உங்கள் coding agent அனுப்பும் file reads மற்றும் tool output தரவுகளை சுருக்குகிறது. 74% token சேமிப்பை வழங்கும் இதன் தொழில்நுட்பம் மற்றும் லாபகரமான கணக்கீடுகளை இங்கே காணலாம்.

Paritok ஒரு கோரிக்கையை எவ்வாறு கையாளுகிறது

Paritok என்பது ஒரு token gateway ஆகும். இது உங்கள் coding agent-க்கும் model API-க்கும் இடையில் ஒரு proxy-ஆகச் செயல்படுகிறது. ஒவ்வொரு கோரிக்கையையும் முன்னோக்கி அனுப்பும் முன் இது சுருக்குகிறது. உங்கள் agent, provider-க்கு பதிலாக http://127.0.0.1:8080-உடன் தொடர்பு கொள்கிறது. இந்த proxy, tool schemas, file reads, tool output மற்றும் பழைய உரையாடல் சுற்றுகளை மாற்றி எழுதி, சிறிய payload-ஐ upstream-க்கு அனுப்புகிறது. பதிலைப் பெற்றவுடன், அதை மாற்றமின்றி அப்படியே திருப்பித் தருகிறது.

Provider-க்கு வந்து சேரும் தரவுகளுக்கு மட்டுமே அவர்கள் கட்டணம் வசூலிப்பார்கள். எனவே, சிறிய payload என்பது குறைவான கட்டணத்தைக் குறிக்கும். இதுவே இதன் அடிப்படை நோக்கம். "உங்கள் context நீண்ட காலம் நீடிக்கும்" என்ற கூற்றிலிருந்து இது மாறுபட்டது. இந்த கருவி வெறும் நேர்த்தியானதாக மட்டுமல்லாமல், பயனுள்ளதாகவும் இருப்பதற்கு இதுவே காரணம்.

இந்த project புதியது. இதன் முதல் பொது வெளியீடு ஜூலை 2026-ல் குறிக்கப்பட்டுள்ளது. தற்போதைய பதிப்பு v1.3.0, ஆகஸ்ட் 5, 2026 தேதியிட்டது. இதன் weights மற்றும் gateway code ஆகியவை Apache 2.0 உரிமத்தின் கீழ் உள்ளன. இதன் compression model, Qwen3-4B-Instruct-2507-ன் மீது அமைக்கப்பட்ட ஒரு LoRA (low-rank adaptation) adapter ஆகும். இது உண்மையான coding-agent செயல்பாடுகளிலிருந்து பெறப்பட்ட 45,000 teacher-distilled மாதிரிகளைக் கொண்டு பயிற்றுவிக்கப்பட்டது.

இது ஏன் context trimming அல்ல

Trimming என்பது நீக்குவதைக் குறிக்கும். ஒரு agent அதன் context வரம்பை நெருங்கும்போது, பழைய உரையாடல்களை நீக்கிவிட்டால், turn 3-ல் அது படித்த கோப்பு மறைந்துவிடும். turn 20-ல் அந்த கோப்பு தேவைப்பட்டால், அது மீண்டும் படிக்கப்படும்; எனவே அந்த tokens-க்கு நீங்கள் இரண்டாவது முறையாகக் கட்டணம் செலுத்த வேண்டியிருக்கும். அந்தச் சேமிப்பு ஒரு கடன் போன்றது.

Paritok ஒரு பகுதியைச் சுருக்கமான வடிவமாகவும் ஒரு tag-ஆகவும் மாற்றுகிறது, [REF:id], மேலும் முழு உரையையும் proxy-ல் வைத்திருக்கிறது. read_original அல்லது expand_context-ஐ அழைப்பதன் மூலம் model அந்தப் பகுதியை மீட்டெடுக்கிறது. இது தோல்வி அடையும் முறையை மாற்றுகிறது. Trimmer மறப்பதன் மூலம் தோல்வியடைகிறது, அது உங்களுக்குத் தெரியாது. Compressor ஒரு இழப்புள்ள சுருக்கத்தை (lossy summary) model-க்கு வழங்குவதன் மூலம் தோல்வியடைகிறது; சுருக்கம் போதாதபோது model அசல் உரையைத் திரும்பக் கேட்க முடியும்.

Tool filter-ம் இதேபோல் செயல்படுகிறது. வடிகட்டப்பட்ட tool schemas நீக்கப்படுவதற்குப் பதிலாக stub செய்யப்படுகின்றன, மேலும் gateway_search_tools-ஐ அழைப்பதன் மூலம் model ஒன்றை மீட்டெடுக்கிறது. இது முக்கியமானது, ஏனெனில் ஒரு tool-ஐ நிரந்தரமாக மறைக்கும் filter, உங்கள் agent-ன் செயல்பாட்டுத் திறனை மாற்றுகிறது; இது அமைதியாகத் தோல்வியடையும் ஒரு பணியின் மூலம் உங்களுக்குத் தெரியவரும்.

மூன்று நெம்புகோல்கள் மற்றும் இலவசமான ஒன்று

முதல் நெம்புகோல் tool-schema filter ஆகும். ஒவ்வொரு கோரிக்கையும் முழுமையான tools array-ஐக் கொண்டிருக்கும். சில MCP (model context protocol) servers இணைக்கப்பட்ட Claude Code செயல்பாட்டில், அந்தத் தொகுதி சுமார் 29,000 tokens அளவுள்ளதாக இருப்பதை இந்தத் திட்டம் அளவிடுகிறது. இந்த filter, பயனரின் கோரிக்கை மற்றும் ஒவ்வொரு tool விளக்கத்தையும் BAAI/bge-small-en-v1.5 (130 MB அளவுள்ள embedding model) மூலம் உட்பொதிக்கிறது (embed). இது பொருத்தமான கருவிகளை மட்டும் வைத்துக்கொண்டு, மற்றவற்றை நீக்குகிறது. இதனால் அந்தத் தொகுதி சுமார் 8,000 tokens-ஆகக் குறைகிறது. இந்த embedding model CPU-வில் இயங்குகிறது.

இரண்டாவது நெம்புகோல் content compression ஆகும்; இதற்குத்தான் GPU-வில் 4B model தேவைப்படுகிறது. கோப்பு வாசிப்புகள் (file reads), tool output மற்றும் வரலாறு ஆகியவை அவற்றின் அசல் அளவில் 25.7%-ஆகச் சுருக்கப்படுகின்றன. 74% என்ற தலைப்புச் செய்தி இதிலிருந்தே வருகிறது. இதை கவனமாகப் படிக்கவும்: 74% என்பது சுருக்கப்படும் உள்ளடக்கத்தின் சுருக்க விகிதமே தவிர, உங்கள் கட்டணத்தில் குறைக்கப்படும் தொகை அல்ல.

மூன்றாவது நெம்புகோல் history summarization ஆகும். context budget நிறைந்தவுடன், சமீபத்திய காலத்திற்கு அப்பால் உள்ள செயல்பாடுகள் சுருக்கப்படுகின்றன. இதனால் வரம்பை எட்டாமல் நீண்ட அமர்வு தொடர்ந்து இயங்குகிறது.

இரண்டாவது நெம்புகோலுக்கு மட்டுமே GPU தேவைப்படுகிறது. இந்தப் பக்கத்தில் உள்ள மிக முக்கியமான வாக்கியம் இதுதான். pip install "paritok[toolselect]" உங்களுக்கு சாதாரண CPU VPS-ல் tool filter-ஐ வழங்குகிறது. இதுவே இந்தத் தயாரிப்பின் பாதியாகும், இதற்கு மாதந்தோறும் எந்தக் கட்டணமும் இல்லை. ஒரு GPU-வை வாடகைக்கு எடுக்கும் முன் இதை முயற்சி செய்து பாருங்கள்.

இந்தத் திட்டம் எதை அளவிட்டது மற்றும் எந்தக் கட்டமைப்பில் அளவிட்டது

ChartSWE-bench Lite: compression rate against solve quality retained (project's published figures)

label

compressed_to_pct

quality_retained_pct

Paritok-4B-v1

25.7

86.5

gpt-4.1-mini

50.2

85.6

gpt-5

61.9

93.6

The data behind this chart

[
  {
    "label": "Paritok-4B-v1",
    "compressed_to_pct": 25.7,
    "quality_retained_pct": 86.5
  },
  {
    "label": "gpt-4.1-mini",
    "compressed_to_pct": 50.2,
    "quality_retained_pct": 85.6
  },
  {
    "label": "gpt-5",
    "compressed_to_pct": 61.9,
    "quality_retained_pct": 93.6
  }
]

இவை SWE-bench Lite-க்கு எதிராக, திட்டத்தின் சொந்தக் கட்டமைப்பில் அளவிடப்பட்ட அதன் அதிகாரப்பூர்வ புள்ளிவிவரங்கள் ஆகும். Paritok-4B-v1, உள்ளடக்கத்தை அதன் அசல் அளவில் 25.7% ஆகச் சுருக்குகிறது, அதே நேரத்தில் சுருக்கப்படாத தீர்வுகளின் விகிதத்தில் 86.5% அளவைத் தக்கவைக்கிறது. சுருக்குவதற்கு gpt-5-ஐப் பயன்படுத்தினால் அதிக தரம் தக்கவைக்கப்படுகிறது, அதாவது 93.6%, ஆனால் அது 61.9% அளவுக்கு மட்டுமே சுருக்குகிறது. மேலும், frontier விலையைச் சேமிப்பதற்காக நீங்கள் frontier விலையையே செலவிட வேண்டியிருக்கும்.

தரவரிசை நெடுவரிசையை (quality column) கவனமாகப் பார்க்கவும். 86.5% தீர்வு விகிதத்தைத் தக்கவைத்தல் என்பது, சுருக்கப்படாத ஓட்டங்களில் தீர்க்கப்பட்ட சிக்கல்கள் சுருக்கப்பட்ட ஓட்டங்களில் தோல்வியடைந்தன என்று பொருள்; இது ஏழு தீர்வுகளில் ஒன்று தோல்வியடைவதற்குச் சமம். ஒரு benchmark-ஐப் பொறுத்தவரை இது அட்டவணையில் உள்ள ஒரு எண் மட்டுமே. ஆனால் உங்கள் repository-ஐப் பொறுத்தவரை, இது நீங்கள் இரண்டு முறை இயக்கும் ஒரு பணியாகும்.

ChartReported input-token saving as a session grows (project's own harness)

label

saved_pct

Turn 1

Turn 5

Turn 12

Turn 20

The data behind this chart

[
  {
    "label": "Turn 1",
    "saved_pct": 25
  },
  {
    "label": "Turn 5",
    "saved_pct": 39
  },
  {
    "label": "Turn 12",
    "saved_pct": 57
  },
  {
    "label": "Turn 20",
    "saved_pct": 63
  }
]

ஒரு session இயங்கும்போது history சேர்வதால், end-to-end சேமிப்பு அதிகரிக்கிறது; ஏனெனில் history தான் இங்கே சுருக்கப்படும் பொருளாக உள்ளது. இந்தத் திட்டம் ஒரு single turn-ல் சுமார் 25% சேமிப்பையும், 5-வது turn-ல் 39% சேமிப்பையும், 20-வது turn-ல் 63% சேமிப்பையும் தெரிவிக்கிறது. இந்த வளர்ச்சி எங்கே நிற்கிறது என்பதையும் அது குறிப்பிடுகிறது: 200,000 token budget-ல், 8 முதல் 12-வது turn-க்கு அருகில், ஒரு turn-க்கு சுமார் 48,000 tokens என்ற அளவில் முழுமையான சேமிப்பு சமநிலையை அடைகிறது. ஏனெனில் context முழுமையடைந்தவுடன் history வளர்வது நின்றுவிடுகிறது. பரவலாகக் குறிப்பிடப்படும் "85%-க்கு மேல்" என்ற புள்ளிவிவரம், context முழுமையாக நிரம்பிய session-களை விவரிக்கிறது. இதுவே சிறந்த சூழல் என்பதால், இதை மட்டுமே அடிப்படையாகக் கொண்டு திட்டமிட வேண்டாம்.

24GB GPU, Paritok-க்கு லாபகரமானதா?

இந்த அளவுள்ள ஒரு model-க்கு 24 GB card-தான் வழக்கமான வாடகை அலகு. 7 August 2026 நிலவரப்படி, 24 GB கொண்ட RTX 4090-ன் சராசரி on-demand வாடகை ஒரு மணி நேரத்திற்கு $0.44 ஆகும்; மிகக் குறைந்த விலையாக $0.20-க்கு listings கிடைக்கின்றன. $0.44-ஐ கணக்கில் கொள்வோம். மாதம் முழுவதும் இயங்கினால், அது 730 மணி நேரம், அதாவது $321. வேலை நேரத்தில் மட்டும், அதாவது 22 நாட்களுக்கு தினமும் 8 மணி நேரம் என இயங்கினால், அது 176 மணி நேரம், அதாவது $77.

இப்போது token குறைப்பை டாலர் குறைப்பாக மாற்றுவோம். இந்த குறைப்பு input tokens-க்கு மட்டுமே பொருந்தும். Output tokens proxy வழியாக மாற்றமின்றி செல்வதால், அவற்றில் எந்த மாற்றமும் இல்லை. ஒரு coding agent-க்கு வழக்கமாக இருப்பது போல, உங்கள் மொத்த செலவில் 80% input tokens என்று வைத்துக்கொண்டு, உங்கள் bill-உடன் அதை ஒப்பிட்டுப் பாருங்கள். உங்கள் டாலர் சேமிப்பு என்பது token குறைப்பு பெருக்கல் 0.8 ஆகும்.

ChartMonthly agent bill needed before a $0.44/hour 24GB card pays for itself

label

bill_always_on_usd

bill_workday_only_usd

Turn 5 (39% saved)

1,030

248

Turn 20 (63% saved)

637

154

Saturated (85% saved)

472

114

The data behind this chart

[
  {
    "label": "Turn 5 (39% saved)",
    "bill_always_on_usd": "1,030",
    "bill_workday_only_usd": 248
  },
  {
    "label": "Turn 20 (63% saved)",
    "bill_always_on_usd": 637,
    "bill_workday_only_usd": 154
  },
  {
    "label": "Saturated (85% saved)",
    "bill_always_on_usd": 472,
    "bill_workday_only_usd": 114
  }
]

85% saturated-session விகிதத்தில், நீங்கள் bill-ல் 68%-ஐ சேமிக்கிறீர்கள். எனவே, உங்கள் மாதாந்திர agent செலவு $472-ஐத் தாண்டும்போது, எப்போதும் இயங்கும் card-க்கான செலவு ஈடுகட்டப்படும். ஒருவேளை வேலை நேரத்திற்குப் பிறகு instance-ஐ நிறுத்திவிட்டால், அது சுமார் $114 ஆகும். 63% turn-20 விகிதத்தில், இவை $637 மற்றும் $154 என மாறும். குறுகிய sessions-ல் காணப்படும் 39% turn-5 விகிதத்தில், card-ஐ வாடகைக்கு எடுப்பது லாபகரமாக இருக்க வேண்டுமெனில், உங்களுக்கு மாதம் சுமார் $1,030 செலவு தேவைப்படும்.

இந்த அட்டவணை காட்டுவதை விட இரண்டு விஷயங்கள் இதைச் சாதகமாக்குகின்றன. இந்த model-க்கு 24 GB தேவையில்லை: q4 build சுமார் 2.5 GB மற்றும் bf16 build சுமார் 8 GB மட்டுமே. எனவே, சிறிய card அல்லது ஏற்கனவே பிற பயன்பாட்டிற்கு இயங்கும் GPU box-ஐப் பயன்படுத்தினால், அட்டவணையில் உள்ள அனைத்து எண்களும் குறையும். மேலும், யாரும் coding செய்யாதபோது instance-ஐ நிறுத்துவதுதான் இதில் மிக முக்கியமான காரணி, ஏனெனில் இது வாடகையை நான்கில் மூன்று பங்கு குறைக்கிறது.

ஒரு விஷயம் இதைச் சவாலாக்குகிறது. Compression pass என்பது ஒரு கூடுதல் வேலை. 4B model compress செய்யும் ஒவ்வொரு token-ம் அது படித்து எழுத வேண்டிய ஒன்றாக இருப்பதால், ஒவ்வொரு agent turn-லும் latency அதிகரிக்கும். மணிநேர அடிப்படையில் வாடகைக்கு எடுக்கும் card-ல், இந்தச் செலவு காத்திருப்பு நேரமாகவே வெளிப்படும், invoice-ல் வரியாகத் தெரியாது. எனவே, நீங்கள் அதை உணரும் வரை கவனிப்பது கடினம்.

நீங்கள் வாடகை GPU மணிநேரங்களை API tokens-உடன் ஒப்பிட்டுப் பார்க்கிறீர்கள் என்றால், GPU VPS மற்றும் API tokens-க்கு இடையிலான break-even கணக்கீடு inference-க்கும் இதே முறையையே பின்பற்றுகிறது.

VPS-ல் Paritok gateway-ஐ இயக்குதல்

Python 3.10 அல்லது அதற்குப் பிந்தைய பதிப்பு தேவை. Ubuntu 24.04-ல் Python 3.12 உள்ளதால், CPU-மட்டும் கொண்ட பகுதிக்கு ஒரு சாதாரண VPS image போதுமானது.

sudo apt update && sudo apt install -y python3-venv curl
python3 -m venv /opt/paritok/venv
source /opt/paritok/venv/bin/activate
pip install "paritok[proxy]==1.3.0"
pip install "paritok[toolselect]==1.3.0"

பதிப்பை (version) உறுதிப்படுத்தவும். இந்த repository 29 July 2026 அன்று v1.2.8 மற்றும் 5 August 2026 அன்று v1.3.0 என tag செய்யப்பட்டுள்ளது. இவ்வளவு வேகத்தில் இயங்கும் ஒரு திட்டத்தில், ஒவ்வொரு release-க்கும் இடையே config keys-ன் பெயர்கள் மாறக்கூடும். ஒரு வெற்று pip install paritok, அல்லது main-ன் git clone, அடுத்த வாரம் உங்களுக்கு வேறு ஒரு gateway-ஐத் தரும். நீங்கள் அளந்த எண்கள் எந்தப் பதிப்பால் உருவானது என்பதற்கான எந்தப் பதிவும் உங்களிடம் இருக்காது.

இதன் default backend Ollama ஆகும். முதலில் model-ஐ pull செய்யவும், பிறகு proxy எதிர்பார்க்கும் அதன் சுருக்கமான பெயரை (short name) வழங்கவும்.

ollama pull paritok/paritok-4b-v1
ollama cp paritok/paritok-4b-v1 paritok-4b-v1

உள்ளூர் model தான் சுருக்கும் ஒவ்வொரு பகுதிக்கும் (segment) rewrite எழுதுவதால், நீண்ட நேரம் எடுக்கும் compression pass ஒரு stalled agent turn-ஆகத் தோன்றும். Ollama's num_predict cap on output length என்பது இதைக் கட்டுப்படுத்தும் கருவியாகும்.

அதற்கு அருகில் paritok.yaml-ஐ எழுதவும். use_gpu_server: false என்பது compression-ஐ உங்கள் சொந்த hardware-லேயே வைத்திருக்க உதவும்.

use_gpu_server: false
local_model:
  base_url: http://localhost:11434

paritok proxy --port 8080 --config-file paritok.yaml

மேலே உள்ள அனைத்திற்கும் paritok up ஒரு குறுக்குவழி: இது model விடுபட்டிருந்தால் அதை pull செய்து, 8080 port-ல் proxy-ஐத் தொடங்கும். ஒரு agent-ஐ அதனுடன் இணைக்கும் முன் proxy-ஐச் சரிபார்க்கவும்.

curl http://127.0.0.1:8080/health
curl http://127.0.0.1:8080/stats

/health ஒரு சிறிய JSON object-ஐத் தரும், அதில் "status":"ok" மற்றும் ஒரு version string இருக்கும். /stats compression-ன் மொத்த அளவையும், அது சேமித்ததாக proxy கருதும் மதிப்பீட்டையும் தரும். அந்த மதிப்பீட்டை proxy தனது வேலையைத் தானே மதிப்பிடுவதாகக் கருதி, உங்கள் provider-ன் usage page-உடன் ஒப்பிட்டு உறுதிப்படுத்தவும்.

வசதியை விட throughput முக்கியம் என்றால், base model-க்கு மேல் vLLM-ஐ adapter-ஆகப் பயன்படுத்தலாம்.

vllm serve Qwen/Qwen3-4B-Instruct-2507 \
  --enable-lora \
  --lora-modules paritok-4b-v1=paritok/paritok-4b-v1 \
  --port 8000

Ollama-வை அமைப்பது விரைவானது. vLLM ஒரே நேரத்தில் வரும் கோரிக்கைகளை (concurrent requests) மிகச் சிறப்பாகக் கையாளும்; ஒன்றுக்கும் மேற்பட்ட agent-கள் ஒரே box-ஐப் பயன்படுத்தும்போது இது முக்கியத்துவம் பெறுகிறது. Ollama மற்றும் vLLM-க்கு இடையிலான நடைமுறை வேறுபாடு இதற்கான முடிவை எடுக்க உதவும்.

Base URL environment variables மூலம் agent-ஐ proxy-க்குச் சுட்டிக்காட்டவும்.

export ANTHROPIC_BASE_URL=http://127.0.0.1:8080
export OPENAI_BASE_URL=http://127.0.0.1:8080

Codex CLI OPENAI_BASE_URL-ஐப் புறக்கணிக்கும், எனவே paritok.yaml-ல் codex.enabled: true அமைக்கப்படும்போது, இந்தத் திட்டம் உங்களுக்காக ~/.codex/config.toml-ஐ எழுதும். இந்த variable-ஐ மட்டும் export செய்தால், Codex நேரடியாக provider-உடன் பேசும். நீங்கள் வேலை செய்யும்போது /stats counter நகரவில்லை என்றால், அது இதற்கான அறிகுறியாகும்.

Listener-ஐ எப்போதும் 127.0.0.1-ல் வைத்திருக்கவும், ஒருபோதும் 0.0.0.0-ல் வைக்க வேண்டாம். Proxy உங்கள் provider API key-ஐ upstream-க்கு அனுப்பும். எனவே, இணையத்திலிருந்து அணுகக்கூடிய ஒரு proxy அந்த key-க்கான open relay ஆகிவிடும்: அந்த port-ஐக் கண்டுபிடிப்பவர், key-ஐப் பார்க்காமலேயே உங்கள் பணத்தைச் செலவழிப்பார். Port-ஐத் திறப்பதற்குப் பதிலாக, SSH tunnel அல்லது VPN மூலம் laptop-லிருந்து அதை அணுகவும்.

Reboot-க்குப் பிறகும் இயங்க, இதை systemd-ன் கீழ் இயக்கவும். உங்கள் install-க்கு ஏற்ப paths-ஐ மாற்றியமைக்கவும்.

[Unit]
Description=Paritok compression proxy
After=network-online.target

[Service]
User=paritok
WorkingDirectory=/opt/paritok
ExecStart=/opt/paritok/venv/bin/paritok proxy --port 8080 --config-file /opt/paritok/paritok.yaml
Restart=on-failure

[Install]
WantedBy=multi-user.target

sudo systemctl enable --now paritok மூலம் இதை enable செய்யவும், பிறகு மீண்டும் /health-ஐ curl செய்யவும். ஒரு unit தொடங்கி உடனடியாக வெளியேறுகிறது என்றால், config file path தவறாக உள்ளது என்று பொருள். journalctl -u paritok -n 50 அதற்கான காரணத்தைக் காட்டும்.

Hosted விருப்பம் மற்றும் அதன் செலவுகள்

இந்தத் திட்டம் compression-ஐ ஒரு சேவையாகவும் (service) வழங்குகிறது. use_gpu_server: true-ஐ ஒரு API key மூலம் அமைத்தால், அதன் வன்பொருளில் (hardware) 4B model இயங்கும். ஆவணங்களின்படி, ஆகஸ்ட் 2026 இறுதி வரை இது இலவசம்; அதன் பிறகு செயலாக்கப்படும் ஒரு மில்லியன் tokens-க்கு $0.30 கட்டணம் வசூலிக்கப்படும். இது GPU வாடகை மற்றும் மேலே குறிப்பிட்டுள்ள அனைத்து செயல்பாட்டு வேலைகளையும் தவிர்க்க உதவுகிறது.

இதன் பொருள், உங்கள் prompts மற்றும் உங்கள் agent படிக்கும் கோப்புகள் உங்கள் கணினியை விட்டு வெளியேறி, உங்கள் model provider-ஐ அடைவதற்கு முன்பே மூன்றாம் தரப்பினரைச் சென்றடையும் என்பதாகும். இத்தகைய தரவுப் பரிமாற்றத்தைத் தவிர்க்கவே self-hosting முறை உள்ளது. அந்த flag-ஐ அமைப்பதற்கு முன், நீங்கள் எதற்கு முன்னுரிமை அளிக்கிறீர்கள் என்பதை முடிவு செய்யுங்கள். ஏனெனில், flag-ஐ மாற்றுவது ஒரு வரி மாற்றம்தான், ஆனால் அதன் விளைவுகள் அத்தகையதல்ல.

உங்கள் சொந்த முடிவுகளை எவ்வாறு அளவிடுவது

வெளியிடப்பட்ட எண்கள் SWE-bench Lite-ல் உள்ள திட்டத்தின் சோதனை அமைப்பிலிருந்து பெறப்பட்டவை. உங்கள் களஞ்சியம் (repository) SWE-bench Lite அல்ல. எனவே, உங்கள் சொந்த அளவீடுகளை நீங்களே மேற்கொள்ளுங்கள்.

ஒரு சாதாரண வாரத்தை, எந்த proxy-யும் இல்லாமல் இயக்கவும். உங்கள் சேவை வழங்குநரின் (provider) பயன்பாட்டுப் பக்கத்திலிருந்து input tokens, cache-read tokens மற்றும் output tokens ஆகியவற்றைத் தனித்தனி வரிகளாகப் பதிவு செய்யவும்; மொத்த டாலர் மதிப்பாகப் பதிவு செய்ய வேண்டாம்.
அடுத்த வாரத்தை, proxy-ஐ முன்னால் வைத்து, அதே வகையான பணிகளைச் செய்து இயக்கவும்.
Input மற்றும் cache-read வரிகளை ஒப்பிடவும். Output-ஐ எந்த compression-ம் பாதிக்காது என்பதால், அது ஏறக்குறைய மாறாமல் இருக்க வேண்டும். Output-ல் பெரிய மாற்றம் இருந்தால், proxy-ஐத் தவிர வேறு ஏதோ மாறியுள்ளது என்று அர்த்தம்.
நீங்கள் மீண்டும் செய்ய வேண்டியிருந்த பணிகளின் எண்ணிக்கையைக் கணக்கிடுங்கள். இது தரத்தின் ஒரு பாதியாகும், இதை எந்த dashboard-ம் காட்டுவதில்லை.
மொத்தத் தொகையை ஒப்பிடுவதற்கு முன், இரண்டாவது வாரத்தின் GPU hours-ஐ அதனுடன் சேர்க்கவும்.

Input மற்றும் output ஆகியவற்றுக்கு விலை மாறுபடுவதாலும், compressor ஒன்று மட்டுமே input-ஐப் பாதிப்பதாலும், இரண்டையும் பிரித்துப் பார்ப்பது அவசியம். ஆகஸ்ட் 2026 நிலவரப்படி, Claude Sonnet 4.6-ன் விலை ஒரு மில்லியன் input tokens-க்கு $3 மற்றும் ஒரு மில்லியன் output tokens-க்கு $15 ஆகும். Prompt-cache read என்பது input விலையில் 10%, அதாவது ஒரு மில்லியன் tokens-க்கு $0.30 ஆகும். Input மற்றும் output token விலைகளுக்கு இடையிலான இடைவெளிதான், input-side compressor உங்களுக்குப் பயனுள்ளதா என்பதைத் தீர்மானிக்கிறது. Claude Code-ன் tokens எங்கே செலவாகின்றன என்பது, உங்கள் context-ல் எந்தப் பகுதி சுருக்குவதற்குத் தகுதியானது என்பதைத் தெரிவிக்கும்.

Prompt caching, குறிப்பாக tool-filter கணக்கீட்டைச் சிக்கலாக்குகிறது. Tool block கோரிக்கையின் தொடக்கத்தில் இருப்பதால், முதல் முறைக்குப் பிறகு அது பொதுவாக 10% input விலையில் cache hit ஆகிறது. Cached block-லிருந்து 21,000 tokens-ஐக் குறைப்பது, ஒரு மில்லியன் tokens-க்கு $0.30 என்ற விகிதத்தில், ஒரு முறைக்கு $0.063-க்கு பதிலாக சுமார் $0.006-ஐ மட்டுமே சேமிக்கும். இந்தத் திட்டம், session முழுவதும் filtered block-ஐ மாற்றாமல் வைத்திருக்கும், இதனால் cached prefix மாறாது. ஒவ்வொரு முறையும் tool-களை மீண்டும் தேர்ந்தெடுக்கும் ஒரு filter, அந்த prefix-ஐச் செல்லாததாக்கி, சேமிக்கும் தொகையை விட அதிகச் செலவை உண்டாக்கும்.

இன்னும் உறுதிப்படுத்தப்படாதவை

மேலே உள்ள ஒவ்வொரு செயல்திறன் எண்ணும் அந்தத் திட்டத்தின் தரவுகளிலிருந்தே பெறப்பட்டவை. SWE-bench Lite முடிவுகளைத் தனிப்பட்ட முறையில் யாரும் மறுஉருவாக்கம் செய்யவில்லை. ஜூலை 2026-ல் இடப்பட்ட முதல் tags-ஐத் தவிர, இந்த code-க்கு நீண்டகால செயல்பாட்டு வரலாறு இல்லை. சுருக்க விகிதம் (compression rate) மற்றும் தரம் குறையாத அளவு (quality-retained figure) ஆகிய இரண்டையும், அந்த முடிவுகளால் பயனடையும் தரப்பினரே அளவிட்டுள்ளனர். இது அந்தத் தரவுகள் தவறானவை என்று அர்த்தமல்ல. அவை இன்னும் உறுதிப்படுத்தப்படவில்லை என்றுதான் பொருள். எனவே, நீங்களே தயாரித்த தரவுகளைக் காட்டிலும் இவற்றை எச்சரிக்கையுடன் அணுக வேண்டும்.

உங்கள் setup-ஐக் குறை கூறுவதற்கு முன், ஆவணப்படுத்தப்பட்ட ஒரு செயல்பாட்டைத் தெரிந்துகொள்வது அவசியம். இந்த tool-ல் பயன்படுத்தப்படும் embedding model, தொடக்கத்திலேயே (startup) ஏற்றப்படாமல், முதல் request வரும்போதுதான் ஏற்றப்படுகிறது. எனவே, இந்தத் திட்டம் 10 முதல் 15 வினாடிகள் வரை warm-up தேவைப்படும் என்றும், அதன் பிறகு ஒவ்வொரு அழைப்பிற்கும் (call) சுமார் 15 ms எடுக்கும் என்றும் குறிப்பிடுகிறது. proxy தொடங்கிய பிறகு ஒரு தேவையற்ற request-ஐ அனுப்பி வைத்தால், உங்கள் முதல் உண்மையான agent turn தாமதமாவது போல் தெரியாது.

ஒரு மதிய நேரத்தில் நீங்களே சரிபார்க்கக்கூடிய நான்கு விஷயங்கள்: proxy தொடங்குகிறதா மற்றும் தொடர்ந்து இயங்குகிறதா, நீங்கள் வேலை செய்யும்போது /stats மாறுகிறதா, உங்கள் provider-ன் input-token அளவு உண்மையில் குறைகிறதா, மற்றும் agent வேலையை முழுமையாக முடிக்கிறதா என்பவை. இவை ஏதேனும் ஒரு பொதுவான benchmark-ஐ விட, உங்கள் setup-க்கு எது சிறந்தது என்பதைத் தீர்மானிக்கும்.

உங்கள் பிற கருவிகளுடன் இது எங்கே பொருந்துகிறது என்பது குறித்து: self-hosted LiteLLM gateway என்பது, contents-ஐ மாற்றாமல் request-களை route செய்து அளவிடும். எனவே, இவை இரண்டும் வெவ்வேறு சிக்கல்களைத் தீர்க்கின்றன, இவற்றை ஒன்றன்பின் ஒன்றாக இணைக்கலாம் (chained). இதில் Paritok, agent-க்கு மிக அருகில் இருக்கும். ஒரு குறிப்பிட்ட tool-ஐ விட, கட்டணத்தைக் குறைப்பதே உங்கள் உண்மையான நோக்கம் என்றால், VPS-ல் இயங்கும் agent-க்கான விரிவான செலவுக் கட்டுப்பாடுகள் என்பதில், எந்தச் செலவுமின்றி முதலில் முயற்சி செய்யக்கூடிய பல மாற்றங்கள் உள்ளன.

FAQ

Paritok எனது API கட்டணத்தைக் குறைக்கிறதா அல்லது context பயன்பாட்டை மட்டும் குறைக்கிறதா?

இது கட்டணத்தைக் குறைக்கிறது, ஏனெனில் கோரிக்கை (request) வழங்குநரைச் சென்றடைவதற்கு முன்பே proxy அதை மாற்றியமைக்கிறது, மேலும் வழங்குநர் தனக்குக் கிடைக்கும் தரவுகளுக்கே கட்டணம் வசூலிக்கிறார். இந்தச் சேமிப்பின் அளவு தலைப்புச் செய்திகளில் கூறப்படுவதை விடக் குறைவானது. 74% என்பது சுருக்கப்படும் உள்ளடக்கத்தின் சுருக்க விகிதம் (compression rate) மட்டுமே. ஒட்டுமொத்தமாக, ஒரு சுற்றில் (turn) சுமார் 25% மற்றும் 20-வது சுற்றில் 63% சேமிப்பைத் திட்டம் குறிப்பிடுகிறது, மேலும் input tokens மட்டுமே சுருக்கப்படுகின்றன. Output tokens மாற்றமின்றி அப்படியே கடந்து செல்லும்.

compression model-ஐ self-host செய்ய எனக்கு எவ்வளவு GPU தேவை?

q4 build சுமார் 2.5 GB மற்றும் bf16 build சுமார் 8 GB அளவு கொண்டது, எனவே இந்த model 24 GB கார்டில் தாராளமாகப் பொருந்தும். சிறிய கார்டுகளும் வேலை செய்யும், இது உங்கள் லாபக் கணக்கீட்டை உங்களுக்குச் சாதகமாக மாற்றும். tool-schema filter-க்கு GPU தேவையில்லை: இது BAAI/bge-small-en-v1.5 என்ற 130 MB அளவுள்ள embedding model-ஐப் பயன்படுத்துகிறது, இது CPU-விலேயே இயங்கும். ஒரு சாதாரண VPS-ல் paritok[toolselect]-ஐ நிறுவுவதன் மூலம், சிறிய அளவு RAM பயன்பாட்டில் tool-block சுருக்கத்தைப் பெறலாம்.

compressor, agent-க்குத் தேவையான ஒன்றை நீக்கிவிட்டால் என்னவாகும்?

எதுவும் நீக்கப்படுவதில்லை. சுருக்கப்பட்ட பகுதிகள் [REF:id] tag-ஐக் கொண்டிருக்கும், மேலும் model read_original அல்லது expand_context மூலம் முழு உரையையும் மீட்டெடுக்கும். வடிகட்டப்பட்ட tool schemas நீக்கப்படாமல் stub செய்யப்படுகின்றன, மேலும் model gateway_search_tools மூலம் அவற்றை மீட்டெடுக்கும். உண்மையான ஆபத்து கோப்பு காணாமல் போவதை விட நுணுக்கமானது: model ஒரு lossy summary-யிலிருந்து செயல்படுகிறது, மேலும் அசல் தரவைக் கேட்க வேண்டும் என்பதை அது உணராமல் போகலாம். SWE-bench Lite-ல் உள்ள 86.5% quality-retained என்ற புள்ளிவிவரம் இதையே அளவிடுகிறது.

எனது முதல் கோரிக்கை ஏன் பதினைந்து வினாடிகள் எடுத்துக்கொள்கிறது?

tool filter-க்குப் பின்னால் உள்ள embedding model தொடக்கத்திலேயே (startup) ஏற்றப்படாமல், முதல் கோரிக்கையின் போது ஏற்றப்படுகிறது. இந்தத் திட்டம் 10 முதல் 15 வினாடிகள் warm-up நேரத்தைக் குறிப்பிடுகிறது, அதன் பிறகு ஒவ்வொரு அழைப்பிற்கும் சுமார் 15 ms மட்டுமே ஆகும். proxy-ஐத் தொடங்கிய பிறகு curl-ஐப் பயன்படுத்தி ஒரு தேவையற்ற கோரிக்கையை (throwaway request) அனுப்பினால், முதல் உண்மையான agent turn தாமதமாகாது.

self-hosting-க்கு பதிலாக hosted GPU server-ஐ நான் பயன்படுத்த வேண்டுமா?

இது GPU வாடகை மற்றும் பராமரிப்புச் செலவை நீக்குகிறது, ஆகஸ்ட் 2026 நிலவரப்படி ஒரு மில்லியன் tokens-க்கு $0.30 என விலை நிர்ணயிக்கப்பட்டுள்ளது. இது உங்கள் prompts மற்றும் உங்கள் agent படிக்கும் கோப்புகளை, உங்கள் model வழங்குநரைச் சென்றடைவதற்கு முன்பே மூன்றாம் தரப்பினருக்கு அனுப்புகிறது. உங்கள் கட்டுப்பாட்டில் உள்ள உள்கட்டமைப்பில் குறியீட்டை (code) வைத்திருக்க நீங்கள் self-hosting செய்கிறீர்கள் என்றால், இந்த அமைப்பு நீங்கள் தொடங்கிய காரணத்தையே நீக்கிவிடும். self-hosting மூலம் context மற்றும் provider API key ஆகிய இரண்டையும் உங்கள் சொந்த கணினியிலேயே வைத்திருக்க முடியும்.

#paritok#tokens #coding-agents #self-hosting #gpu