Paritok token gateway: AI ஏஜென்ட் செலவை குறைப்பது எப்படி?
Paritok உங்கள் AI ஏஜென்ட் கோப்புகளை எவ்வாறு சுருக்குகிறது என்பதை அறிக. இந்த கருவி 74% டோக்கன்களைக் குறைப்பதாகக் கூறுகிறது. இதன் செயல்முறை மற்றும் கட்டண சேமிப்பு கணக்கீடுகளைப் பாருங்கள்.
Paritok ஒரு கோரிக்கையை எவ்வாறு கையாளுகிறது
Paritok என்பது ஒரு token gateway ஆகும்: இது உங்கள் coding agent மற்றும் model API ஆகியவற்றுக்கு இடையே அமர்ந்து, ஒவ்வொரு கோரிக்கையையும் முன்னோக்கி அனுப்பும் முன் சுருக்கும் ஒரு proxy ஆகும். உங்கள் agent, provider-க்கு பதிலாக http://127.0.0.1:8080 உடன் தொடர்பு கொள்கிறது. இந்த proxy, tool schemas, file reads, tool output மற்றும் பழைய சுற்றுகளை (turns) சுருக்கி, சிறிய payload-ஐ upstream-க்கு அனுப்பி, பதிலைப் பெறுகிறது.
Provider-க்கு வந்து சேரும் தரவுகளுக்குத்தான் provider உங்களுக்குக் கட்டணம் வசூலிக்கிறது, ஆனால் உங்கள் invoice என்பது எந்தெந்த tokens நீக்கப்பட்டன, அவற்றின் cache விலை என்ன, மற்றும் agent எத்தனை சுற்றுகளை எடுத்துக்கொள்கிறது என்பதைப் பொறுத்தது. இதுவே இதன் அடிப்படை நோக்கம். இது "உங்கள் context நீண்ட காலம் நீடிக்கும்" என்ற கூற்றிலிருந்து மாறுபட்டது, மேலும் இந்த கருவி வெறும் நேர்த்தியானதாக மட்டுமல்லாமல், சுவாரஸ்யமானதாக இருப்பதற்கும் இதுவே காரணம்.
இந்தத் திட்டம் புதியது. இந்த gateway 15 July 2026 அன்று open-source செய்யப்பட்டது, மேலும் PyPI-ல் v1.3.14 பதிப்பு 6 October 2026 அன்றும், v1.3.0 பதிப்பு 5 August அன்றும் வெளியிடப்பட்டன. இதன் weights மற்றும் gateway code ஆகியவை Apache 2.0 உரிமத்தின் கீழ் உள்ளன. இதன் compression model என்பது Qwen3-4B-Instruct-2507-ன் மீது அமைக்கப்பட்ட ஒரு LoRA (low-rank adaptation) adapter ஆகும். இது உண்மையான coding-agent trajectories-லிருந்து எடுக்கப்பட்ட 45,000 segments-களிலிருந்து பெறப்பட்டது; இதில் 40,606 segments ஆசிரியர் சரிபார்ப்பில் (teacher validation) தேர்ச்சி பெற்று பயிற்சி உதாரணங்களாக மாறின.
இது ஏன் context trimming அல்ல
Trimming என்பது தரவுகளை நிரந்தரமாக நீக்கிவிடும். ஒரு agent அதன் context வரம்பை நெருங்கி, பழைய உரையாடல்களை நீக்கும்போது, 3-வது சுற்றில் அது படித்த கோப்பு அழிந்துவிடும். 20-வது சுற்றில் அந்த கோப்பு தேவைப்பட்டால், அது மீண்டும் படிக்கப்படும்; எனவே அந்த tokens-க்கு நீங்கள் இரண்டாவது முறையாகக் கட்டணம் செலுத்த வேண்டியிருக்கும். அந்தச் சேமிப்பு ஒரு கடன் போன்றதே.
Paritok ஒரு பகுதியைச் சுருக்கமான வடிவமாகவும் ஒரு குறியீடாகவும் (tag) மாற்றுகிறது, [REF:id], மேலும் முழு உரையையும் proxy-ல் வைத்திருக்கிறது. read_original அல்லது expand_context-ஐ அழைப்பதன் மூலம் model அந்தப் பகுதியை மீட்டெடுக்கிறது. இது தோல்வி அடையும் முறையை மாற்றுகிறது. ஒரு trimmer மறப்பதன் மூலம் தோல்வியடைகிறது, அது உங்களுக்குத் தெரியப்படுத்துவதும் இல்லை. ஒரு compressor, model-க்குத் தரவு இழப்புள்ள ஒரு பகுதியை வழங்குவதன் மூலம் தோல்வியடைகிறது; அந்தப் பகுதி போதுமானதாக இல்லாதபோது, model அசல் தரவைக் கேட்க முடியும்.
வடிகட்டப்பட்ட (filtered) tool schemas-ஐ மீட்டெடுக்க முடியும், ஆனால் இயல்பான adaptive filter தேர்ந்தெடுக்கப்படாத standard tools-ஐ நீக்கிவிடும். MCP relevance signal தூண்டப்படாவிட்டால், தேர்ந்தெடுக்கப்படாத MCP tools-ம் நீக்கப்படும். அந்த signal தூண்டப்படும்போது, தேர்ந்தெடுக்கப்படாத MCP tools stub செய்யப்படுகின்றன. gateway_search_tools மீட்டெடுப்பை ஆதரிக்கிறது, மேலும் gateway விடுபட்ட tool செய்திகளைக் கண்டறிந்து, மீண்டும் முயற்சிக்கும் முன் பொருத்தமான tools-ஐச் சேர்க்கிறது. இது முக்கியமானது, ஏனெனில் ஒரு tool-ஐ நிரந்தரமாக மறைக்கும் filter, உங்கள் agent-ன் செயல்பாட்டுத் திறனை மாற்றுகிறது; இது அமைதியாகத் தோல்வியடையும் ஒரு பணியின் மூலமே உங்களுக்குத் தெரியவரும்.
மூன்று நெம்புகோல்கள் மற்றும் இலவசமான ஒன்று
முதல் நெம்புகோல் tool-schema filter ஆகும். ஒவ்வொரு கோரிக்கையும் முழுமையான tools array-ஐக் கொண்டிருக்கும். எந்தவொரு MCP (model context protocol) servers-ம் இணைக்கப்படாத Claude Code சுழற்சியில், இந்தத் திட்டம் அந்தத் தொகுதியை சுமார் 29,000 tokens என அளவிடுகிறது; MCP இணைக்கப்பட்டிருக்கும்போது, இது 44,000 முதல் 65,000 tokens வரை காட்டுகிறது. இந்த filter, பயனரின் கோரிக்கையையும் ஒவ்வொரு tool விளக்கத்தையும் BAAI/bge-small-en-v1.5 (130 MB embedding model) மூலம் உட்பொதிக்கிறது (embed). இது பொருத்தமான கருவிகளை மட்டும் வைத்துக்கொண்டு, தேர்ந்தெடுக்கப்படாத standard கருவிகளை நீக்குகிறது. MCP கருவிகளைப் பொறுத்தவரை, அதன் MCP relevance signal தூண்டப்படும்போது மட்டுமே stub செய்கிறது. இல்லையெனில், அந்த MCP கருவிகளையும் இது நீக்கிவிடுகிறது. திட்டத்தின் 29,000-token உதாரணத்தில், இந்தத் தொகுதி சுமார் 8,000 tokens ஆகக் குறைகிறது. அந்த embedding model CPU-வில் இயங்குகிறது.
இரண்டாவது நெம்புகோல் content compression ஆகும். இதுதான் 4B model-ஐப் பயன்படுத்தும் பகுதி; இது GPU-விலோ அல்லது Ollama வழியாக CPU-விலோ இயங்கும். கோப்பு வாசிப்புகள் (file reads), tool output மற்றும் வரலாறு ஆகியவை அவற்றின் அசல் அளவில் 25.7%-ஆகக் குறைக்கப்படுகின்றன. இந்த model உள்ளடக்கத்தை மீண்டும் எழுதுவதற்குப் பதிலாக, முக்கியமாக spans-ஐத் தேர்ந்தெடுக்கிறது. reasoning summaries மற்றும் tool-call framing போன்ற உள்ளடக்கங்களுக்கு மட்டுமே குறைந்த அளவில் மீண்டும் எழுதுதல் அனுமதிக்கப்படுகிறது. திட்டத்தின் ஆய்வறிக்கை, ஆசிரியர் உருவாக்கிய பயிற்சித் தொகுப்பில் (teacher-generated training corpus) உள்ள identifiers, paths மற்றும் எண்கள் 96.0% அப்படியே (verbatim) வெளிப்படுவதாக அளவிடுகிறது; பயிற்சியளிக்கப்பட்ட model-ன் SWE-bench Lite வெளியீடு அதே தணிக்கையில் 96.2% மதிப்பெண்களைப் பெறுகிறது. 74% என்ற தலைப்பு அங்கிருந்துதான் வருகிறது. இதை கவனமாகப் படிக்கவும்: 74% என்பது சுருக்கப்பட்ட உள்ளடக்கத்தின் சுருக்க விகிதமே தவிர, உங்கள் கட்டணத்தில் குறையும் அளவு அல்ல.
மூன்றாவது நெம்புகோல் history summarization ஆகும். இயல்பாக, context அமைக்கப்பட்ட window-ன் 80%-ஐத் தாண்டியவுடன், பழைய சுழற்சிகள் சுருக்கப்படுகின்றன. அதேசமயம் சமீபத்திய நான்கு சுழற்சிகள் அப்படியே வைக்கப்படுகின்றன. இதனால் நீண்ட அமர்வுகள் (long sessions) வரம்பை எட்டாமல் தொடர்ந்து இயங்குகின்றன.
Self-hosting செய்வதற்கு GPU கட்டாயமில்லை. இந்தப் பக்கத்தில் உள்ள மிக முக்கியமான வாக்கியம் இதுதான். pip install "paritok[toolselect]" உங்களுக்கு சாதாரண CPU VPS-ல் tool filter-ஐ வழங்குகிறது, இதற்கு per-token கட்டணம் ஏதுமில்லை. ஒரு GPU-வை வாடகைக்கு எடுக்கும் முன் இதை முயற்சி செய்து பாருங்கள்.
திட்டம் எதை அளவிட்டது மற்றும் எந்த harness-ல் அளவிட்டது
இந்த விளக்கப்படத்தின் தரவு
[
{
"label": "Paritok-4B-v1",
"compressed_to_pct": 25.7,
"quality_retained_pct": 86.5
},
{
"label": "gpt-4.1-mini",
"compressed_to_pct": 50.2,
"quality_retained_pct": 85.6
},
{
"label": "gpt-5",
"compressed_to_pct": 61.9,
"quality_retained_pct": 93.6
}
]இவை திட்டத்தின் சொந்த வெளியீட்டு புள்ளிவிவரங்கள்; இவை SWE-bench Lite-க்கு எதிராக அதன் சொந்த harness-ல் அளவிடப்பட்டவை. Paritok-4B-v1 உள்ளடக்கத்தை அதன் அசல் அளவில் 25.7% ஆகச் சுருக்குகிறது, அதே நேரத்தில் சுருக்கப்படாத solve rate-ல் 86.5% தரத்தைத் தக்கவைத்துக் கொள்கிறது. கம்ப்ரஸராக gpt-5-ஐப் பயன்படுத்தினால் அதிக தரம் தக்கவைக்கப்படுகிறது, அதாவது 93.6%, ஆனால் அது 61.9% அளவுக்கு மட்டுமே சுருக்குகிறது; மேலும், frontier விலையைச் சேமிக்க நீங்கள் frontier விலையையே செலுத்த வேண்டியிருக்கும்.
தரவு நெடுவரிசையை (quality column) கவனமாகப் படிக்கவும். தக்கவைக்கப்பட்ட தரம் என்பது கம்ப்ரஸரின் solve rate-ஐ, சுருக்கப்படாத baseline solve rate-ஆல் வகுப்பதன் மூலம் கிடைப்பதாகும். 86.5% தக்கவைக்கப்படுகிறது என்றால், அந்த baseline-ஐ ஒப்பிடும்போது தீர்வுகளில் 13.5% நிகரக் குறைப்பு ஏற்பட்டுள்ளது என்று பொருள்; இது baseline-ல் தீர்க்கப்பட்ட சிக்கல்களில் இழந்த பகுதியைக் கணக்கிடுவதில்லை, ஏனெனில் சுருக்கப்பட்ட runs வெவ்வேறு சிக்கல்களையும் தீர்க்கக்கூடும். இந்த எண்ணிக்கை, recall முடக்கப்பட்ட மற்றும் production edit recovery இயக்கப்பட்ட நிலையில், சுருக்கப்பட்ட raw source-ன் single-shot புரிதலை அளவிடுகிறது; இது CPU tool-schema filter-ஐயோ அல்லது முழுமையான multi-turn gateway-வையோ அளவிடுவதில்லை.
இந்த விளக்கப்படத்தின் தரவு
[
{
"label": "Turn 1",
"saved_pct": 25
},
{
"label": "Turn 5",
"saved_pct": 39
},
{
"label": "Turn 12",
"saved_pct": 57
},
{
"label": "Turn 20",
"saved_pct": 63
}
]ஒரு session இயங்கும்போது end-to-end சேமிப்பு அதிகரிக்கிறது, ஏனெனில் history குவிகிறது மற்றும் அந்த history தான் சுருக்கப்படுகிறது. இந்தத் திட்டம் ஒரு single turn-ல் சுமார் 25% சேமிப்பையும், 5-வது turn-ல் 39% சேமிப்பையும், 20-வது turn-ல் 63% சேமிப்பையும் தெரிவிக்கிறது. 1 முதல் 5 வரையிலான turns மட்டுமே அளவிடப்பட்டுள்ளன; README-ல் பிந்தைய வரிசைகள் கணிப்புகள் (projections) என்று குறிப்பிடப்பட்டுள்ளன. இந்த வளர்ச்சி எங்கே நிற்கிறது என்பதையும் அது கூறுகிறது: 200,000 token பட்ஜெட்டில், per-turn உள்ளடக்கச் சேமிப்பு சுமார் 48,000 tokens-ல் சமநிலையை அடைகிறது (இது turn 8 முதல் 12-க்குள் நிகழ்கிறது), ஏனெனில் context நிறைந்தவுடன் history வளர்வது நின்றுவிடுகிறது. தனித்த tool-filter சேமிப்பு ஒரு turn-க்கு சுமார் 21,000 tokens-ஐச் சேர்க்கிறது, இதனால் கணிக்கப்பட்ட ஒருங்கிணைந்த plateau ஒரு turn-க்கு சுமார் 69,000 tokens ஆகிறது. பரவலாகக் குறிப்பிடப்படும் "85%-க்கு மேல்" என்ற எண்ணிக்கை, context நிரம்பிய session-களை விவரிக்கிறது. அதுவே சிறந்த நிலை; அதே README-ல் இயல்புநிலை அமைப்புகளின் கீழ் சேமிப்பு சுமார் 72% என்ற உச்சத்தை நோக்கிச் சமநிலையை அடையும் என்று கூறப்பட்டுள்ளது, எனவே அதை மட்டும் நம்பித் திட்டமிட வேண்டாம்.
24GB GPU, Paritok-க்கு லாபகரமானதா?
GPU என்பது கட்டாயமில்லை, மேலும் 24 GB-க்கும் குறைவான திறன் கொண்ட கார்டுகளிலும் இந்த model இயங்கும். ஒரு உதாரணத்திற்கு, 24 GB கார்டின் வாடகை ஒரு மணி நேரத்திற்கு $0.44 என்று வைத்துக்கொள்வோம். மாதம் முழுவதும் தொடர்ந்து இயங்கினால், 730 மணி நேரத்திற்கு $321 செலவாகும். வேலை நேரத்தில் மட்டும், அதாவது ஒரு நாளைக்கு 8 மணி நேரம் வீதம் 22 நாட்களுக்குப் பயன்படுத்தினால், 176 மணி நேரத்திற்கு $77 மட்டுமே செலவாகும்.
இப்போது token குறைப்பை டாலர் மதிப்பிலான சேமிப்பாக மாற்றவும். இந்த குறைப்பு input tokens-க்கு மட்டுமே பொருந்தும். Output tokens proxy வழியாக மாற்றமின்றி செல்வதால், proxy அவற்றைச் சுருக்குவதில்லை. உங்கள் சேவை வழங்குநரின் கட்டணத்தைப் பயன்படுத்தி, புதிய input, cache writes மற்றும் cache reads ஆகியவற்றின் விலையைத் தனித்தனியாகக் கணக்கிட்டு, மாற்றத்திற்கு முன்னும் பின்னும் உள்ள மொத்த API செலவை ஒப்பிடவும். உங்கள் மொத்த செலவில் 80% input-ஆக இருந்தாலும், token குறைப்பை 0.8-ஆல் பெருக்குவது உங்கள் பில் சேமிப்பைத் தீர்மானிக்காது.
இந்த விளக்கப்படத்தின் தரவு
[
{
"label": "Always on (730 hours)",
"required_api_saving_usd": 321.2
},
{
"label": "Workday only (176 hours)",
"required_api_saving_usd": 77.44
}
]உங்கள் மாதந்திர API சேமிப்பு $321.2-ஐத் தாண்டினால், தொடர்ந்து இயங்கும் கார்டு அதன் செலவை ஈடுகட்டிவிடும். வேலை நேரத்திற்கு வெளியே instance-ஐ நிறுத்திவிட்டால், இந்த இலக்கு $77.44 ஆகக் குறையும். 85% token குறைப்பு என்பது 68% பில் சேமிப்பு என்று அர்த்தமல்ல, எனவே இதை வைத்து மாதந்திர agent-spend வரம்பைத் தீர்மானிக்க முடியாது. வாடகைக் கட்டணத்தை உங்கள் உண்மையான பில்-சேமிப்பு விகிதத்தால் வகுத்தால் அந்த வரம்பு கிடைக்கும்.
இந்த அட்டவணை காட்டுவதை விட இரண்டு விஷயங்கள் சாதகமாக உள்ளன. இந்த model-க்கு 24 GB தேவையில்லை: q4 build சுமார் 2.5 GB மற்றும் f16 build சுமார் 8 GB மட்டுமே. எனவே, சிறிய கார்டைப் பயன்படுத்தினாலோ அல்லது ஏற்கனவே பிற பணிகளுக்காக இயங்கும் GPU box-ல் இதைச் சேர்த்தாலோ, அட்டவணையில் உள்ள அனைத்து எண்களும் குறையும். மேலும், யாரும் coding செய்யாதபோது instance-ஐ நிறுத்துவதுதான் செலவைக் குறைப்பதற்கான மிகச்சிறந்த வழி, ஏனெனில் இது வாடகையை நான்கில் மூன்று பங்கு குறைக்கிறது.
ஒரு விஷயம் பாதகமானது. compression pass என்பது கூடுதல் வேலை. 4B model சுருக்கும் ஒவ்வொரு token-ம் அது வாசிக்க வேண்டிய ஒன்று, அது தக்கவைக்கும் ஒவ்வொரு span-ம் அது மீண்டும் எழுத வேண்டிய ஒன்று. இது ஒவ்வொரு agent turn-லும் latency-ஐ அதிகரிக்கும். மணிநேர அடிப்படையில் வாடகைக்கு எடுக்கும் கார்டில், இந்தச் செலவு காத்திருப்பு நேரமாகவே தெரியும், invoice-ல் வரியாகத் தெரியாது என்பதால், நீங்கள் அதை உணரும் வரை கவனிக்கத் தவற வாய்ப்புள்ளது.
நீங்கள் வாடகைக்கு எடுத்த GPU மணிநேரங்களை API tokens-உடன் ஒப்பிடுகிறீர்கள் என்றால், GPU VPS மற்றும் API tokens-க்கு இடையிலான break-even கணக்கீடு inference-க்கு இதே கணித முறையைப் பயன்படுத்துகிறது.
VPS-ல் Paritok gateway-ஐ இயக்குதல்
PyPI-ல் உள்ள package metadata Python 3.10 அல்லது அதற்குப் பிந்தைய பதிப்புகளை ஏற்கும், இருப்பினும் README badge 3.11+ என்று குறிப்பிடுகிறது. Ubuntu 24.04-ல் Python 3.12 உள்ளதால், CPU tool filter-க்கு ஒரு சாதாரண VPS image போதுமானது.
sudo apt update && sudo apt install -y python3-venv curl
python3 -m venv /opt/paritok/venv
source /opt/paritok/venv/bin/activate
pip install "paritok[proxy]==1.3.14"
pip install "paritok[toolselect]==1.3.14"பதிப்பை (version) உறுதிப்படுத்தவும் (pin). PyPI-ல் v1.3.0 ஆகஸ்ட் 5, 2026 அன்றும், v1.3.14 அக்டோபர் 6, 2026 அன்றும் வெளியிடப்பட்டது. இவ்வளவு வேகத்தில் இயங்கும் ஒரு திட்டத்தில், releases-க்கு இடையே பெயர்கள் மாற்றப்படலாம்: v1.3.0 பதிப்பிலேயே அதன் API-ல் expand_context என்பது read_original என மாற்றப்பட்டது. வெறும் pip install paritok அல்லது main-ன் git clone-ஐப் பயன்படுத்தினால், அடுத்த வாரம் உங்களுக்கு வேறு ஒரு gateway கிடைக்கலாம்; நீங்கள் அளவீடு செய்த தரவுகள் எந்தப் பதிப்பால் உருவானது என்பதற்கான பதிவு இருக்காது.
இதன் default backend Ollama ஆகும். Model-ஐ pull செய்து, proxy தேடும் short name-ஐ அதற்கு வழங்கவும்.
ollama pull paritok/paritok-4b-v1
ollama cp paritok/paritok-4b-v1 paritok-4b-v1உள்ளூர் model தான் சுருக்கும் (compress) ஒவ்வொரு segment-க்கும் உரிய spans-ஐ எழுதுவதால், நீண்ட நேரம் எடுக்கும் compression pass ஒரு stalled agent turn-ஆகத் தெரியும். Ollama-ன் num_predict output length வரம்பு இதைக் கட்டுப்படுத்தும் கருவியாகும்.
அதற்கு அருகில் paritok.yaml-ஐ எழுதவும். use_gpu_server: false தான் compression உங்கள் சொந்த hardware-லேயே நடப்பதை உறுதி செய்கிறது.
use_gpu_server: false
local_model:
base_url: http://localhost:11434/v1paritok proxy --port 8080 --config-file paritok.yamlModel விடுபட்டிருந்தால் அதை pull செய்யவும், proxy-ஐ port 8080-ல் தொடங்கவும் paritok up குறுக்குவழியாகும்; Ollama ஏற்கனவே நிறுவப்பட்டிருக்க வேண்டும். Agent-ஐ proxy-க்கு சுட்டிக்காட்டும் முன் proxy-ஐச் சரிபார்க்கவும்.
curl http://127.0.0.1:8080/health
curl http://127.0.0.1:8080/stats/health என்பது "status":"ok" மற்றும் ஒரு version string-ஐக் கொண்ட சிறிய JSON object-ஐத் தரும். /stats என்பது compression மொத்த அளவையும், proxy தான் சேமித்ததாகக் கருதும் மதிப்பீட்டையும் தரும். அந்த மதிப்பீட்டை proxy தனது வேலையைத் தானே மதிப்பிடுவதாகக் கருதி, உங்கள் provider-ன் usage page-உடன் ஒப்பிட்டு உறுதிப்படுத்தவும்.
வசதியை விட throughput முக்கியமென்றால், base model-க்கு மேல் adapter-ஐ இயக்க vLLM-ஐப் பயன்படுத்தவும்.
vllm serve Qwen/Qwen3-4B-Instruct-2507 \
--enable-lora \
--lora-modules paritok-4b-v1=paritok/paritok-4b-v1 \
--max-lora-rank 32 \
--port 8000Adapter rank 32 என்பதால், திட்டத்தின் சொந்த command-ல் --max-lora-rank 32 flag பயன்படுத்தப்படுகிறது. பின்னர், proxy Ollama-க்கு பதிலாக vLLM-உடன் தொடர்பு கொள்ள, paritok.yaml-ல் local_model.base_url-ஐ http://localhost:8000/v1 என அமைக்கவும்.
Ollama-ஐ அமைப்பது விரைவானது. ஆனால், ஒன்றுக்கும் மேற்பட்ட agents ஒரே server-ஐப் பயன்படுத்தும்போது, concurrent requests-ஐ vLLM சிறப்பாகக் கையாளும். Ollama மற்றும் vLLM-க்கு இடையிலான நடைமுறை வேறுபாடு இதற்கான முடிவை எடுக்க உதவும்.
Base URL environment variables மூலம் agent-ஐ proxy-க்குச் சுட்டிக்காட்டவும்.
export ANTHROPIC_BASE_URL=http://127.0.0.1:8080
export OPENAI_BASE_URL=http://127.0.0.1:8080Codex CLI OPENAI_BASE_URL-ஐப் புறக்கணிக்கும், எனவே paritok.yaml-ல் codex.enabled: true அமைக்கப்படும்போது paritok up உங்களுக்காக ~/.codex/config.toml-ஐ எழுதும். Variable-ஐ மட்டும் export செய்தால், Codex நேரடியாக provider-உடன் தொடர்பு கொள்ளும்; நீங்கள் வேலை செய்யும்போது /stats counter நகரவில்லை என்றால் அதுவே அதற்கான அறிகுறியாகும்.
Listener-ஐ எப்போதும் 127.0.0.1-ல் வைத்திருக்கவும், 0.0.0.0-ல் வைக்க வேண்டாம். Proxy ஒவ்வொரு கோரிக்கையுடனும் வழங்கப்பட்ட credentials-ஐ upstream-க்கு அனுப்பும். அதன் unauthenticated /stats endpoint அசல் மற்றும் சுருக்கப்பட்ட உள்ளடக்கத்தின் மாதிரிகளை வெளிப்படுத்தும் என்பதால், internet-க்குத் திறந்திருக்கும் listener தனிப்பட்ட context மற்றும் உள்ளூர் compression வளங்களை வெளிப்படுத்திவிடும். Port-ஐத் திறப்பதற்குப் பதிலாக, SSH tunnel அல்லது VPN மூலம் laptop-லிருந்து அதை அணுகவும்.
Reboot செய்தாலும் இயங்குவதற்கு systemd-ன் கீழ் அதை இயக்கவும். உங்கள் install-க்கு ஏற்ப paths-ஐ மாற்றவும். Unit இயங்கும் paritok user-ஐ உருவாக்கி, install directory-ஐ அதற்கு வழங்கவும்:
sudo useradd --system --home-dir /opt/paritok --shell /usr/sbin/nologin paritok
sudo chown -R paritok:paritok /opt/paritok[Unit]
Description=Paritok compression proxy
After=network-online.target
[Service]
User=paritok
WorkingDirectory=/opt/paritok
ExecStart=/opt/paritok/venv/bin/paritok proxy --port 8080 --config-file /opt/paritok/paritok.yaml
Restart=on-failure
[Install]
WantedBy=multi-user.targetsudo systemctl enable --now paritok மூலம் அதை enable செய்யவும், பின்னர் மீண்டும் /health-ஐ curl செய்யவும். ஒரு unit தொடங்கி உடனடியாக நின்றுவிட்டால், config file path தவறாக இருக்கலாம் என்று பொருள்; journalctl -u paritok -n 50 அதற்கான காரணத்தைக் காட்டும்.
Hosted விருப்பம் மற்றும் அதன் கட்டண விவரங்கள்
இந்தத் திட்டம் compression-ஐ ஒரு சேவையாகவும் (service) வழங்குகிறது. paritok.com தளத்திலிருந்து பெறப்பட்ட API key-ஐக் கொண்டு use_gpu_server: true-ஐ அமைத்தால், 4B model அவர்களின் hardware-ல் இயங்கும். 2 November 2026 நிலவரப்படி, இது சுருக்கப்படும் ஒரு மில்லியன் file tokens-க்கு $0.30 என prepaid credit மூலம் கட்டணம் வசூலிக்கிறது; tool-schema filtering இலவசம். புதிய கணக்குகளுக்கு, அட்டை விவரங்கள் ஏதுமின்றி $5 மதிப்புள்ள இலவச credit வழங்கப்படுகிறது. hosted சேவை இலவசமாக இருந்த அறிமுகக் காலம் 1 October 2026 அன்று முடிவடைந்ததால், இது இப்போது கட்டணச் சேவையாகும். இது compression-model hosting பணிகளை நீக்குகிறது, ஆனால் gateway-ஐ நீங்கள் தொடர்ந்து இயக்க வேண்டும்.
இதன் பொருள், உங்கள் prompts மற்றும் உங்கள் agent வாசிக்கும் கோப்புகள் உங்கள் machine-ஐ விட்டு வெளியேறி, உங்கள் model provider-ஐ அடைவதற்கு முன்பே மூன்றாம் தரப்பினரைச் சென்றடையும் என்பதாகும். இந்த இடைநிலையைத் தவிர்க்கவே self-hosting முறை உள்ளது. அந்த flag-ஐ அமைப்பதற்கு முன், நீங்கள் எதற்கு முன்னுரிமை அளிக்கிறீர்கள் என்பதை முடிவு செய்யுங்கள்; ஏனெனில் flag-ஐ மாற்றுவது ஒரு வரி மாற்றம்தான், ஆனால் அதன் விளைவு அத்தகையதல்ல.
உங்கள் சொந்த முன்னும் பின்னும் நிலைகளை எவ்வாறு அளவிடுவது
வெளியிடப்பட்ட எண்கள் திட்டத்தின் எண்கள், இவை SWE-bench Lite-ல் உள்ள திட்டத்தின் சோதனை அமைப்பிலிருந்து பெறப்பட்டவை. உங்கள் களஞ்சியம் (repository) SWE-bench Lite அல்ல. எனவே, நீங்களே அளவிடுங்கள்.
- ஒரு வாரம் வழக்கமான முறையில், எந்த proxy-யும் இல்லாமல் இயங்குங்கள். உங்கள் provider-ன் பயன்பாட்டுப் பக்கத்திலிருந்து input, cache-write, cache-read மற்றும் output tokens ஆகியவற்றைத் தனித்தனி வரிகளாகப் பதிவு செய்யுங்கள்; மொத்த டாலர் மதிப்பாகப் பதிவு செய்ய வேண்டாம்.
- அடுத்த வாரம் proxy-ஐ முன்னால் வைத்து, அதே போன்ற பணிகளைச் செய்யுங்கள்.
- input வகைகளை அவற்றின் உண்மையான விலையில் ஒப்பிட்டு, output செலவில் ஏற்படும் மாற்றங்களையும் சேர்த்துக்கொள்ளுங்கள். Proxy output-ஐச் சுருக்குவதில்லை, ஆனால் agent-ன் செயல்பாடுகள் மற்றும் turn count-ல் ஏற்படும் மாற்றங்கள் நீங்கள் வாங்கும் output அளவைப் பாதிக்கும்.
- நீங்கள் மீண்டும் செய்ய வேண்டியிருந்த பணிகளின் எண்ணிக்கையைக் கணக்கிடுங்கள். இது தரத்தின் ஒரு பாதி, இதை எந்த dashboard-ம் காட்டுவதில்லை.
- மொத்தத் தொகையை ஒப்பிடுவதற்கு முன், இரண்டாவது வாரத்தின் GPU hours-ஐச் சேர்த்துக்கொள்ளுங்கள்.
Input மற்றும் output ஆகிய இரண்டிற்கும் விலை மிகவும் மாறுபடுவதாலும், compressor ஒன்று மட்டுமே இரண்டில் ஒன்றைப் பாதிப்பதாலும், இரண்டையும் பிரித்துப் பார்ப்பது அவசியம். 2 November 2026 நிலவரப்படி, Claude Sonnet 4.6-ன் விலை ஒரு மில்லியன் input tokens-க்கு $3 மற்றும் ஒரு மில்லியன் output tokens-க்கு $15 ஆகும்; prompt-cache read என்பது input விலையில் 10%, அதாவது ஒரு மில்லியனுக்கு $0.30. புதிய Claude Sonnet 5.5-ன் விலை $2 மற்றும் $10 ஆகும், அதன் cache reads input விலையில் 5%, அதாவது ஒரு மில்லியனுக்கு $0.10. Input மற்றும் output token விலைகளுக்கு இடையிலான இடைவெளிதான் input-side compressor உங்களுக்குப் பயனுள்ளதா என்பதைத் தீர்மானிக்கிறது. Claude Code-ன் tokens உண்மையில் எங்கே செல்கின்றன என்பது உங்கள் context-ல் எந்தப் பகுதி சுருக்குவதற்குத் தகுந்த அளவு பெரியது என்பதை உங்களுக்குத் தெரிவிக்கும்.
Prompt caching, குறிப்பாக tool-filter கணக்கீடுகளைச் சிக்கலாக்குகிறது. Tool block கோரிக்கையின் தொடக்கத்தில் இருப்பதால், முதல் turn-க்கு பிறகு அது பொதுவாக cache hit ஆகிவிடும்; Sonnet 4.6-ல் இது input விலையில் 10% ஆகும். Cached block-லிருந்து 21,000 tokens-ஐக் குறைப்பது, ஒரு மில்லியனுக்கு $0.30 வீதம் 21,000 tokens-ஐச் சேமிக்கும், அதாவது ஒரு turn-க்கு சுமார் $0.006 சேமிக்கும்; இது uncached விலையான $0.063-ஐ விடக் குறைவு. இந்தத் திட்டம் filtered block-ஐ session முழுவதும் அப்படியே வைத்திருக்கிறது, எனவே cached prefix மாறுவதில்லை. ஒவ்வொரு turn-லும் tool-களை மீண்டும் தேர்வு செய்யும் ஒரு filter, அந்த prefix-ஐச் செல்லாததாக்கி, சேமிப்பதை விட அதிகச் செலவை ஏற்படுத்தக்கூடும்.
இன்னும் உறுதிப்படுத்தப்படாதவை
மேலே உள்ள ஒவ்வொரு செயல்திறன் எண்ணும் அந்தத் திட்டத்தின் தரவுகளிலிருந்தே பெறப்பட்டவை. ஒரு சுதந்திரமான synthetic-corpus compression சோதனை உள்ளது, ஆனால் அது SWE-bench பணி வெற்றியைச் சோதிக்கவில்லை; அந்தத் திட்டத்தின் SWE-bench Lite solve-quality புள்ளிவிவரங்கள் இன்னும் சுயாதீனமாக உறுதிப்படுத்தப்படவில்லை. ஜூலை 2026-ல் gateway open-source செய்யப்பட்டதால், இந்த code-க்கு பின்னால் மிகக் குறைந்த செயல்பாட்டு வரலாறு மட்டுமே உள்ளது. compression rate மற்றும் quality-retained ஆகிய இரண்டுமே, அந்த எண்கள் சிறப்பாகத் தெரிவதால் பயனடையும் தரப்பினரால் அளவிடப்படுகின்றன. அது அந்த எண்கள் தவறானவை என்று அர்த்தமல்ல. அவை உறுதிப்படுத்தப்படாதவை, எனவே நீங்கள் நீங்களாகவே உருவாக்கிய எண்களைக் காட்டிலும் இவற்றை வேறுவிதமாக அணுக வேண்டும்.
உங்கள் setup-ஐக் குறை கூறுவதற்கு முன், ஆவணப்படுத்தப்பட்ட ஒரு செயல்பாட்டைத் தெரிந்துகொள்வது அவசியம். கருவி வடிகட்டியில் (tool filter) பயன்படுத்தப்படும் embedding model, தொடக்கத்திலன்றி முதல் கோரிக்கையின்போதே (first request) ஏற்றப்படுகிறது. எனவே, 10 முதல் 15 வினாடிகள் வரை warm-up தேவைப்படும் என்றும், அதன் பிறகு ஒவ்வொரு அழைப்பிற்கும் சுமார் 15 ms எடுக்கும் என்றும் திட்டம் ஆவணப்படுத்துகிறது. proxy தொடங்கிய பிறகு ஒரு தேவையற்ற (throwaway) கோரிக்கையை அனுப்பினால், உங்கள் முதல் உண்மையான agent turn முடங்கியது போலத் தெரியாது.
ஒரு மதிய நேரத்தில் நீங்கள் நீங்களாகவே சரிபார்க்கக்கூடிய நான்கு விஷயங்கள்: proxy தொடங்குகிறதா மற்றும் இயங்குகிறதா, நீங்கள் வேலை செய்யும்போது /stats நகர்கிறதா, உங்கள் provider-ன் input-token அளவு உண்மையில் குறைகிறதா, மற்றும் agent வேலையை முடித்து முடிக்கிறதா என்பது. எந்தவொரு வெளியிடப்பட்ட benchmark-ஐ விடவும், உங்கள் setup-க்கு இவைதான் சிறந்த முடிவுகளைத் தரும்.
உங்கள் பிற கருவிகளுடன் இது எங்கே அமைகிறது என்பதைப் பொறுத்தவரை: ஒரு self-hosted LiteLLM gateway உள்ளடக்கத்தை மாற்றாமல் கோரிக்கைகளை வழிநடத்துகிறது மற்றும் அளவிடுகிறது. எனவே, இவை இரண்டும் வெவ்வேறு சிக்கல்களைத் தீர்க்கின்றன, இவற்றை ஒன்றிணைக்க முடியும்; இதில் Paritok, agent-க்கு மிக அருகில் அமையும். இந்த குறிப்பிட்ட கருவியை விட, கட்டணத்தைக் குறைப்பதே உங்கள் உண்மையான இலக்கு என்றால், VPS-ல் உள்ள agent-க்கான பரந்த அளவிலான செலவுக் கட்டுப்பாடுகள் என்பதில் முதலில் முயற்சி செய்யக்கூடிய பல கட்டணமில்லா மாற்றங்கள் உள்ளன.
FAQ
Paritok எனது API கட்டணத்தைக் குறைக்குமா அல்லது context பயன்பாட்டை மட்டும் குறைக்குமா?
இது provider-ஐச் சென்றடைவதற்கு முன்பே request-ஐச் சுருக்குகிறது; கட்டணச் சேமிப்பு என்பது நீக்கப்பட்ட tokens-ன் விலை மற்றும் agent-ன் turn count ஆகியவற்றைப் பொறுத்தது. அந்தச் சேமிப்பின் அளவு தலைப்பில் குறிப்பிடப்பட்டுள்ளதை விடக் குறைவு. 74% என்பது சுருக்கப்படும் உள்ளடக்கத்தின் compression rate ஆகும். ஒட்டுமொத்தமாக, ஒரு single turn-ல் சுமார் 25% சேமிப்பையும், 20-வது turn-ல் input-token சேமிப்பாக 63%-ஐயும் இந்தத் திட்டம் கணிக்கிறது. Output tokens மாற்றமின்றிச் செல்லும், ஆனால் உருவாக்கப்படும் அளவு agent-ன் செயல்பாட்டைப் பொறுத்தது.
compression model-ஐ self-host செய்ய எனக்கு எவ்வளவு GPU தேவை?
GPU கட்டாயமில்லை: Ollama-வில் CPU-விலும் இந்த model-ஐ இயக்கலாம். q4 build சுமார் 2.5 GB மற்றும் f16 build சுமார் 8 GB அளவு கொண்டது, எனவே 24 GB card-ல் இது தாராளமாகப் பொருந்தும். சிறிய card-களும் வேலை செய்யும், இது உங்கள் லாபக் கணக்கீட்டிற்குச் சாதகமாக அமையும். Tool-schema filter-க்கு GPU தேவையில்லை: இது 130 MB அளவுள்ள BAAI/bge-small-en-v1.5 embedding model-ஐப் பயன்படுத்துகிறது, இது CPU-விலேயே இயங்கும். சாதாரண VPS-ல் paritok[toolselect]-ஐ நிறுவுவதன் மூலம், சிறிய அளவு RAM பயன்பாட்டில் tool-block குறைப்பைப் பெறலாம்.
agent-க்குத் தேவையான ஒன்றை compressor நீக்கிவிட்டால் என்னவாகும்?
எதுவும் நிரந்தரமாக இழக்கப்படாது. model முன்னோக்கி அனுப்பப்படும் தரவுகளிலிருந்து சில பகுதிகளை நீக்குகிறது, ஆனால் சுருக்கப்பட்ட பகுதிகள் [REF:id] tag-ஐக் கொண்டிருக்கும். read_original அல்லது expand_context மூலம் model முழு உரையையும் மீட்டெடுக்கும். இயல்புநிலை tool filter, தேர்ந்தெடுக்கப்படாத standard tools-ஐ நீக்கும்; MCP relevance signal தூண்டப்படாவிட்டால், தேர்ந்தெடுக்கப்படாத MCP tools-ஐயும் நீக்கும். Tool recovery-க்கு gateway_search_tools மற்றும் missing-tool செய்திகளைக் கண்டறியும் முறை பயன்படுத்தப்படுகிறது. உண்மையான ஆபத்து என்னவென்றால், கோப்பு காணாமல் போவதை விட இது அமைதியானது: model ஒரு lossy excerpt-லிருந்து வேலை செய்கிறது, அசல் தரவைக் கேட்க வேண்டும் என்பதை அது உணராமல் போகலாம். SWE-bench Lite-ல் 86.5% quality-retained என்பது, recall முடக்கப்பட்டு production edit recovery இயக்கப்பட்ட நிலையில், சுருக்கப்பட்ட raw source-ஐப் புரிந்துகொள்ளும் திறனை அளவிடுகிறது; இது CPU tool-schema filter-ஐயோ அல்லது முழு multi-turn gateway-ஐயோ அளவிடவில்லை.
எனது முதல் request ஏன் பதினைந்து வினாடிகள் எடுத்துக்கொள்கிறது?
Tool filter-க்குப் பின்னால் உள்ள embedding model, தொடக்கத்திலன்றி முதல் request-ன் போதுதான் load ஆகிறது. இந்தத் திட்டம் 10 முதல் 15 வினாடிகள் warm-up நேரத்தையும், அதன் பிறகு ஒவ்வொரு அழைப்பிற்கும் சுமார் 15 ms நேரத்தையும் குறிப்பிடுகிறது. Proxy-ஐத் தொடங்கிய பிறகு curl-ஐப் பயன்படுத்தி ஒரு throwaway request-ஐ அனுப்பினால், முதல் உண்மையான agent turn தாமதமாகாது.
self-hosting-க்கு பதிலாக hosted GPU server-ஐப் பயன்படுத்தலாமா?
இது compression-model hosting மற்றும் GPU வாடகையை நீக்குகிறது, அதே நேரத்தில் நீங்கள் gateway-ஐ நிர்வகிக்கலாம். 2 November 2026 நிலவரப்படி, சுருக்கப்படும் ஒரு மில்லியன் file tokens-க்கு $0.30 கட்டணம் வசூலிக்கப்படுகிறது, இது prepaid credit மூலம் செலுத்தப்பட வேண்டும். புதிய கணக்குகளுக்கு $5 இலவச credit வழங்கப்படுகிறது; இலவச அறிமுகக் காலம் 1 October 2026 அன்று முடிவடைந்தது. இது உங்கள் prompts மற்றும் உங்கள் agent படிக்கும் கோப்புகளை, உங்கள் model provider-ஐச் சென்றடைவதற்கு முன்பே மூன்றாம் தரப்பினருக்கு அனுப்புகிறது. உங்கள் கட்டுப்பாட்டில் உள்ள infrastructure-ல் குறியீட்டை வைத்திருக்க நீங்கள் self-hosting செய்கிறீர்கள் என்றால், இந்த அமைப்பு நீங்கள் தொடங்கிய காரணத்தையே நீக்கிவிடும். Self-hosting முறையில் compression உங்கள் சொந்த கணினியிலேயே இருக்கும்; சுருக்கப்பட்ட requests மற்றும் provider credentials உங்கள் model provider-க்குச் செல்லும்.