Paritok؛ آیا هزینه agent را کمتر میکند؟
Paritok خروجی ابزار و خواندن فایلهای coding agent را فشرده میکند و پروژه مدعی کاهش 74٪ token است. سازوکار و محاسبه نقطه سربهسر را بررسی میکنیم.
آنچه Paritok با یک درخواست انجام میدهد
Paritok یک دروازهٔ token است: proxyای که بین coding agent شما و model API قرار میگیرد و هر درخواست را پیش از ارسال فشرده میکند. agent شما بهجای provider با http://127.0.0.1:8080 ارتباط برقرار میکند. proxy، tool schemaها، خواندن فایلها، خروجی ابزار و turnهای قبلی را کوچک میکند، payload کوچکتر را به upstream میفرستد و پاسخ را بدون تغییر بازمیگرداند.
provider بر اساس چیزی که به آن میرسد از شما هزینه میگیرد، اما مبلغ صورتحساب به tokenهای حذفشده، قیمتگذاری cache آنها و تعداد turnهایی که agent اجرا میکند بستگی دارد. ایدهٔ اصلی همین است. این ادعا با «context شما مدت بیشتری دوام میآورد» تفاوت دارد و دلیل جذاببودن این ابزار نیز همین است، نه صرفاً مرتبترکردن دادهها.
این پروژه هنوز جدید است. gateway در 15 July 2026 بهصورت open source منتشر شد. PyPI، نسخهٔ v1.3.14 را به 6 October 2026 و نسخهٔ v1.3.0 را به 5 August نسبت میدهد. weightها و کد gateway تحت مجوز Apache 2.0 هستند. مدل فشردهسازی، یک adapter از نوع LoRA (low-rank adaptation) روی Qwen3-4B-Instruct-2507 است که از مجموعهای شامل 45,000 segment استخراجشده از trajectoryهای واقعی coding agent تقطیر شده است؛ از این میان، 40,606 مورد اعتبارسنجی teacher را با موفقیت گذراندند و به نمونههای آموزشی تبدیل شدند.
چرا این کار trimming نیست
Trimming اطلاعات را برای همیشه حذف میکند. وقتی یک agent به محدودیت context نزدیک میشود و قدیمیترین turnها را حذف میکند، فایلی که در turn 3 خوانده بود از بین میرود. اگر در turn 20 به آن فایل نیاز داشته باشد، فایل را دوباره میخواند و هزینه همان tokenها را بار دوم میپردازید. صرفهجویی فقط یک وام بوده است.
Paritok یک segment را با شکلی کوتاهتر بههمراه یک tag، [REF:id]، جایگزین میکند و متن کامل را روی proxy نگه میدارد. model با فراخوانی read_original یا expand_context یک segment را بازیابی میکند. این کار حالت خرابی را تغییر میدهد. trimmer با فراموشکردن شکست میخورد و هرگز این موضوع را به شما اعلام نمیکند. compressor با تحویل یک excerpt همراه با از دست رفتن بخشی از اطلاعات شکست میخورد؛ در این حالت، model میتواند زمانی که excerpt کافی نیست، متن اصلی را درخواست کند.
Filtered tool schemas همچنان قابل بازیابی هستند، اما adaptive filter پیشفرض، standard toolهای انتخابنشده و MCP toolهای انتخابنشده را حذف میکند؛ مگر آنکه MCP relevance signal آن فعال شود. وقتی این signal فعال شود، MCP toolهای انتخابنشده بهصورت stub درمیآیند. gateway_search_tools از بازیابی پشتیبانی میکند و gateway نیز پیامهای missing-tool را شناسایی میکند و پیش از retry کردن، toolهای منطبق را inject میکند. این موضوع مهم است، چون filterی که یک tool را برای همیشه پنهان کند، قابلیتهای agent شما را تغییر میدهد و شما فقط از طریق taskای متوجه آن میشوید که بیسروصدا اشتباه انجام شده است.
سه اهرم، و کدامیک رایگان است
اهرم اول، فیلتر طرحواره ابزار (tool-schema filter) است. هر درخواست، کل آرایه tools را حمل میکند. در یک نوبت اجرای Claude Code بدون اتصال سرورهای MCP (پروتکل زمینه مدل)، پروژه این بلوک را تقریباً 29,000 توکن اندازهگیری میکند؛ با اتصال MCP، این مقدار به 44,000 تا 65,000 توکن میرسد. این فیلتر، درخواست کاربر و شرح هر ابزار را با استفاده از BAAI/bge-small-en-v1.5 (یک مدل embedding با حجم 130 مگابایت) تعبیه (embed) میکند، ابزارهای منطبق را نگه میدارد، ابزارهای استاندارد انتخابنشده را حذف میکند و ابزارهای MCP انتخابنشده را تنها زمانی که سیگنال ارتباط MCP آنها فعال شود، به صورت stub در میآورد. در غیر این صورت، آن ابزارهای MCP را نیز حذف میکند. در مثال 29,000 توکنی پروژه، این بلوک به حدود 8,000 توکن کاهش مییابد. آن مدل embedding روی CPU اجرا میشود.
اهرم دوم، فشردهسازی محتوا است و این بخشی است که از مدل 4B روی GPU یا از طریق Ollama روی CPU استفاده میکند. خواندن فایلها، خروجی ابزار و تاریخچه تا 25.7 درصد اندازه اصلیشان کاهش مییابند. مدل عمدتاً به جای بازنویسی، بخشهایی (spans) را انتخاب میکند و بازنویسی محدود برای محتوایی مانند خلاصههای استدلالی و چارچوببندی فراخوانی ابزار مجاز است. مقاله پروژه اندازهگیری میکند که 96.0 درصد از شناسهها، مسیرها و اعداد منتشر شده، عیناً در ورودیِ موجود در پیکره آموزشی تولید شده توسط معلم ظاهر میشوند؛ خروجی SWE-bench Lite مدل آموزشدیده در همان ارزیابی، امتیاز 96.2 درصد را کسب میکند. عدد 74 درصد در عنوان از اینجا میآید. آن را با دقت بخوانید: 74 درصد نرخ فشردهسازی روی محتوایی است که فشرده میشود، نه میزان کاهش در صورتحساب شما.
اهرم سوم، خلاصهسازی تاریخچه است. بهطور پیشفرض، هنگامی که زمینه (context) از 80 درصد پنجره پیکربندیشده فراتر رود، نوبتهای قدیمیتر خلاصهسازی میشوند در حالی که چهار نوبت اخیر دستنخورده باقی میمانند تا یک نشست طولانی بهجای رسیدن به محدودیت، به اجرا ادامه دهد.
استفاده از GPU برای میزبانی شخصی (self-hosting) اختیاری است. این مفیدترین جمله در این صفحه است. pip install "paritok[toolselect]" فیلتر ابزار را روی یک VPS معمولی با CPU و بدون هزینه به ازای هر توکن در اختیار شما قرار میدهد. پیش از اجاره کارت گرافیک، آن را امتحان کنید.
آنچه پروژه اندازهگیری کرده است و با چه ابزاری
دادههای پشت این نمودار
[
{
"label": "Paritok-4B-v1",
"compressed_to_pct": 25.7,
"quality_retained_pct": 86.5
},
{
"label": "gpt-4.1-mini",
"compressed_to_pct": 50.2,
"quality_retained_pct": 85.6
},
{
"label": "gpt-5",
"compressed_to_pct": 61.9,
"quality_retained_pct": 93.6
}
]اینها ارقام منتشرشده توسط خود پروژه هستند که با استفاده از ابزار اختصاصی آن در برابر SWE-bench Lite اندازهگیری شدهاند. مدل Paritok-4B-v1 محتوا را به 25.7% از اندازه اصلی فشرده میکند، در حالی که 86.5% از نرخ حل مسائل در حالت فشردهنشده را حفظ میکند. استفاده از gpt-5 به عنوان فشردهساز، کیفیت بیشتری یعنی 93.6% را حفظ میکند، اما تنها تا 61.9% فشردهسازی انجام میدهد و شما برای صرفهجویی در هزینههای مدلهای پیشرو، مجبور به پرداخت هزینههای همان مدلهای پیشرو خواهید بود.
ستون کیفیت را با دقت مطالعه کنید. کیفیت حفظشده برابر است با نرخ حل توسط فشردهساز تقسیم بر نرخ حل پایه (فشردهنشده). حفظ 86.5% به معنای کاهش خالص 13.5% در حل مسائل نسبت به آن پایه است؛ این عدد شامل کسر مسائل حلشده در حالت پایه که از دست رفتهاند نمیشود، زیرا اجراهای فشردهشده میتوانند مسائل متفاوتی را نیز حل کنند. این رقم، درک تکمرحلهای از سورسکد خام فشردهشده را با غیرفعال بودن قابلیت recall و فعال بودن بازیابی ویرایش تولیدی اندازهگیری میکند؛ این معیار شامل فیلتر tool-schema پردازنده یا gateway کامل چندمرحلهای نمیشود.
دادههای پشت این نمودار
[
{
"label": "Turn 1",
"saved_pct": 25
},
{
"label": "Turn 5",
"saved_pct": 39
},
{
"label": "Turn 12",
"saved_pct": 57
},
{
"label": "Turn 20",
"saved_pct": 63
}
]صرفهجویی نهایی با پیشرفت نشست (session) افزایش مییابد، زیرا تاریخچه انباشته میشود و تاریخچه همان چیزی است که فشرده میشود. پروژه حدود 25% صرفهجویی در یک مرحله، 39% تا مرحله 5 و 63% تا مرحله 20 را گزارش میدهد. تنها مراحل 1 تا 5 اندازهگیری شدهاند؛ فایل README ردیفهای بعدی را به عنوان پیشبینی برچسبگذاری کرده است. همچنین ذکر شده که این رشد کجا متوقف میشود: در بودجه 200,000 توکنی، صرفهجویی محتوا در هر مرحله در حدود 48,000 توکن ثابت میشود (جایی نزدیک به مرحله 8 تا 12)، زیرا وقتی context پر شود، رشد تاریخچه متوقف میگردد. صرفهجویی جداگانه فیلتر ابزار، تقریباً 21,000 توکن در هر مرحله اضافه میکند که باعث میشود سقف پیشبینیشده ترکیبی به حدود 69,000 توکن در هر مرحله برسد. رقم "بیش از 85%" که بهطور گسترده نقل میشود، نشستهای اشباعشده از context را توصیف میکند. این بهترین حالت است و همان فایل README میگوید که صرفهجویی در تنظیمات پیشفرض به سمت سقف حدود 72% میل میکند، بنابراین برنامهریزی خود را بر اساس آن انجام ندهید.
آیا یک GPU با ظرفیت 24GB برای Paritok صرفه اقتصادی دارد؟
استفاده از GPU اختیاری است و مدل روی کارتهای کوچکتر از 24GB نیز جا میشود. برای یک محاسبه نمونه اجاره، هزینه 0.44 دلار بهازای هر ساعت برای کارت 24GB را در نظر بگیرید. اگر کارت در تمام ماه روشن بماند، 730 ساعت کار میکند و هزینه آن 321 دلار میشود. اگر فقط در ساعات کاری، یعنی 8 ساعت در روز و 22 روز در ماه، اجرا شود، 176 ساعت کار میکند و هزینه آن 77 دلار خواهد بود.
اکنون کاهش تعداد token را به کاهش هزینه دلاری تبدیل کنید. این کاهش فقط روی input token اعمال میشود. output token بدون تغییر از proxy عبور میکند؛ بنابراین proxy آنها را فشرده نمیکند. تغییر هزینه را برای fresh input، cache write و cache read بهصورت جداگانه و با استفاده از نرخهای provider خود محاسبه کنید، سپس مجموع هزینه API را پیش و پس از تغییر مقایسه کنید. حتی اگر input معادل 80% از مجموع هزینه دلاری شما باشد، ضربکردن کاهش token در 0.8 صرفهجویی واقعی در صورتحساب را اثبات نمیکند.
دادههای پشت این نمودار
[
{
"label": "Always on (730 hours)",
"required_api_saving_usd": 321.2
},
{
"label": "Workday only (176 hours)",
"required_api_saving_usd": 77.44
}
]کارت GPU زمانی هزینه خود را جبران میکند که صرفهجویی ماهانه اندازهگیریشده در API از 321.2 دلار بیشتر شود؛ اگر instance را خارج از ساعات کاری متوقف کنید، این مقدار 77.44 دلار خواهد بود. کاهش 85% در token بهتنهایی صرفهجویی 68% در صورتحساب را اثبات نمیکند؛ بنابراین آستانه ماهانه هزینه agent نیز از این رقم بهدست نمیآید. برای محاسبه این آستانه، هزینه اجاره را بر سهم اندازهگیریشده صرفهجویی در صورتحساب تقسیم کنید.
دو عامل باعث میشوند وضعیت از آنچه نمودار نشان میدهد بهتر باشد. مدل به 24GB نیاز ندارد: حجم build نوع q4 حدود 2.5GB و حجم build نوع f16 حدود 8GB است. بنابراین استفاده از کارت کوچکتر، یا از یک GPU box که از قبل برای کار دیگری اجرا میکنید، همه اعداد نمودار را کاهش میدهد. همچنین متوقفکردن instance زمانی که کسی در حال coding نیست، بزرگترین اهرم این سناریو است؛ زیرا هزینه اجاره را تقریباً سهچهارم کاهش میدهد.
یک عامل وضعیت را بدتر میکند. مرحله compression واقعاً به پردازش نیاز دارد. مدل 4B باید هر token را که فشرده میکند بخواند و هر span را که نگه میدارد دوباره بنویسد؛ در نتیجه به هر نوبت agent مقداری latency اضافه میشود. در کارتی که ساعتی اجاره میکنید، این هزینه به شکل زمان انتظار ظاهر میشود، نه بهصورت ردیفی در صورتحساب. به همین دلیل ممکن است تا زمانی که آن را در عمل احساس نکنید، متوجه آن نشوید.
اگر بهطور کلی در حال مقایسه ساعتهای اجاره GPU با tokenهای API هستید، محاسبه نقطه سربهسر بین GPU VPS و tokenهای API همین محاسبات را برای خود inference انجام میدهد.
اجرای درگاه Paritok روی VPS
فرادادهٔ بسته در PyPI، Python 3.10 یا نسخههای جدیدتر را میپذیرد؛ هرچند نشان README میگوید 3.11+. Ubuntu 24.04 همراه با Python 3.12 عرضه میشود، بنابراین یک image معمولی VPS برای فیلتر ابزار CPU کافی است.
sudo apt update && sudo apt install -y python3-venv curl
python3 -m venv /opt/paritok/venv
source /opt/paritok/venv/bin/activate
pip install "paritok[proxy]==1.3.14"
pip install "paritok[toolselect]==1.3.14"نسخه را ثابت کنید. PyPI، نسخه v1.3.0 را مربوط به 5 August 2026 و نسخه v1.3.14 را مربوط به 6 October 2026 ثبت کرده است. پروژهای با چنین سرعتی بین releaseها نامها را تغییر میدهد: خود v1.3.0، expand_context را در API به read_original تغییر داد. استفاده از pip install paritok بدون تعیین نسخه، یا استفاده از git clone برای main، هفتهٔ آینده درگاه متفاوتی را در اختیار شما میگذارد و هیچ سابقهای از نسخهای که اعداد اندازهگیریشده را تولید کرده است باقی نمیگذارد.
backend پیشفرض Ollama است. مدل را pull کنید، سپس نام کوتاهی را به آن بدهید که proxy به دنبال آن میگردد.
ollama pull paritok/paritok-4b-v1
ollama cp paritok/paritok-4b-v1 paritok-4b-v1از آنجا که مدل محلی spanهایی را که برای هر segment فشردهشده نگه میدارد مینویسد، طولانیشدن فرایند compression بهصورت متوقفشدن نوبت agent دیده میشود. سقف Ollama با نام num_predict برای طول خروجی همان گزینهای است که این طول را محدود میکند.
paritok.yaml را در کنار آن بنویسید. use_gpu_server: false باعث میشود compression روی سختافزار خودتان انجام شود.
use_gpu_server: false
local_model:
base_url: http://localhost:11434/v1paritok proxy --port 8080 --config-file paritok.yamlparitok up میانبری برای pull کردن مدل در صورت نبودن آن و اجرای proxy روی پورت 8080 است؛ Ollama باید از قبل نصب شده باشد. پیش از آنکه agent را به proxy متصل کنید، proxy را بررسی کنید.
curl http://127.0.0.1:8080/health
curl http://127.0.0.1:8080/stats/health یک شیء JSON کوچک شامل "status":"ok" و یک رشتهٔ نسخه برمیگرداند. /stats مجموع compression و برآورد خود proxy از مقدار صرفهجوییشده را برمیگرداند. این برآورد را مانند ارزیابی proxy از عملکرد خودش در نظر بگیرید و آن را با صفحهٔ مصرف provider خود تطبیق دهید.
برای throughput، نه صرفاً راهاندازی آسان، vLLM adapter را روی base model ارائه میکند.
vllm serve Qwen/Qwen3-4B-Instruct-2507 \
--enable-lora \
--lora-modules paritok-4b-v1=paritok/paritok-4b-v1 \
--max-lora-rank 32 \
--port 8000پرچم --max-lora-rank 32 در command اختصاصی خود پروژه وجود دارد، زیرا adapter دارای rank 32 است. سپس در paritok.yaml، local_model.base_url را روی http://localhost:8000/v1 تنظیم کنید تا proxy بهجای Ollama با vLLM ارتباط برقرار کند.
راهاندازی Ollama سریعتر است. vLLM درخواستهای همزمان را بسیار بهتر مدیریت میکند و بهمحض آنکه بیش از یک agent از سرور استفاده کند، این تفاوت اهمیت پیدا میکند. تفاوت عملی Ollama و vLLM مشخص میکند کدام گزینه برای این مورد مناسب است.
agent را با استفاده از environment variableهای base URL به proxy متصل کنید.
export ANTHROPIC_BASE_URL=http://127.0.0.1:8080
export OPENAI_BASE_URL=http://127.0.0.1:8080Codex CLI، OPENAI_BASE_URL را نادیده میگیرد؛ بنابراین paritok up وقتی codex.enabled: true در paritok.yaml تنظیم شده باشد، ~/.codex/config.toml را برای شما مینویسد. Export کردن این variable بهتنهایی باعث میشود Codex مستقیماً با provider ارتباط برقرار کند. نشانهٔ این وضعیت، شمارندهٔ /stats است که هنگام کار هیچگاه تغییر نمیکند.
listener را روی 127.0.0.1 نگه دارید، نه روی 0.0.0.0. proxy، credentialهای ارسالشده همراه هر request را به upstream منتقل میکند و endpoint بدون احراز هویت /stats نمونههایی از محتوای اصلی و فشردهشده را در معرض نمایش میگذارد. بنابراین listener متصل به اینترنت، context خصوصی و منابع compression محلی را افشا میکند. بهجای بازکردن پورت، از لپتاپ و از طریق SSH tunnel یا VPN به آن دسترسی پیدا کنید.
آن را زیر systemd اجرا کنید تا پس از reboot نیز فعال بماند. مسیرها را با نصب خود تطبیق دهید. کاربر paritok را که unit با آن اجرا میشود ایجاد کنید و دایرکتوری نصب را در اختیار آن قرار دهید:
sudo useradd --system --home-dir /opt/paritok --shell /usr/sbin/nologin paritok
sudo chown -R paritok:paritok /opt/paritok[Unit]
Description=Paritok compression proxy
After=network-online.target
[Service]
User=paritok
WorkingDirectory=/opt/paritok
ExecStart=/opt/paritok/venv/bin/paritok proxy --port 8080 --config-file /opt/paritok/paritok.yaml
Restart=on-failure
[Install]
WantedBy=multi-user.targetبا sudo systemctl enable --now paritok آن را فعال کنید، سپس دوباره /health را اجرا کنید. unitی که شروع میشود و بلافاصله خارج میشود، معمولاً نشان میدهد مسیر فایل configuration اشتباه است؛ journalctl -u paritok -n 50 علت را چاپ میکند.
گزینهٔ میزبانیشده و هزینهای که برای آن میپردازید
این پروژه، فشردهسازی را بهعنوان یک سرویس نیز ارائه میکند. مقدار use_gpu_server: true را با یک API key از paritok.com تنظیم کنید تا مدل 4B روی سختافزار آنها اجرا شود. از 2 November 2026، هزینهٔ سرویس برای هر یک میلیون file token که فشرده میکند، $0.30 است و این هزینه از اعتبار پیشپرداخت کسر میشود. فیلترکردن tool schema رایگان است. حسابهای جدید $5 اعتبار رایگان دریافت میکنند و برای آن به کارت بانکی نیازی نیست. دورهٔ آغازین که در آن سرویس میزبانیشده رایگان بود، در 1 October 2026 پایان یافت؛ بنابراین سرویس اکنون پولی است. در این حالت، کار میزبانی مدل فشردهسازی حذف میشود، اما gateway همچنان روی زیرساخت شما اجرا خواهد شد.
این موضوع همچنین یعنی promptهای شما و فایلهایی که agent میخواند، پیش از رسیدن به model provider شما، از دستگاهتان خارج میشوند و به یک شخص ثالث میرسند. self-hosting دقیقاً برای جلوگیری از چنین مسیری وجود دارد. پیش از تنظیم این flag مشخص کنید کدامیک از این دو هدف برای شما اولویت دارد؛ زیرا تغییر flag فقط به اصلاح یک خط نیاز دارد، اما پیامد آن چنین ساده نیست.
چگونه صرفهجویی واقعی قبل و بعد را اندازهگیری کنید
اعداد منتشرشده مربوط به خود پروژه هستند و با harness پروژه روی SWE-bench Lite بهدست آمدهاند. مخزن شما SWE-bench Lite نیست. اندازهگیری را روی محیط خودتان انجام دهید.
- یک هفته عادی را بدون proxy در مسیر اجرا کنید. تعداد توکنهای fresh input، cache-write، cache-read و output را از صفحه مصرف provider خود، هرکدام در یک خط جداگانه، ثبت کنید؛ آنها را بهصورت یک مبلغ دلاری کلی ثبت نکنید.
- هفته بعد را با قرار دادن proxy در جلوی مسیر اجرا کنید و همان نوع کارها را انجام دهید.
- دستههای input را با قیمت واقعی آنها مقایسه کنید و هرگونه تغییر در هزینه output را نیز لحاظ کنید. proxy خروجی را فشرده نمیکند، اما تغییر در رفتار agent و تعداد turnها همچنان بر مقدار output خریداریشده اثر میگذارد.
- تعداد taskهایی را که مجبور شدید دوباره انجام دهید بشمارید. این بخش کیفی معامله است و هیچ dashboardای در هیچجا آن را گزارش نمیکند.
- پیش از مقایسه مجموع هزینهها، ساعات استفاده از GPU را به هفته دوم اضافه کنید.
تفکیک input از output مهم است، زیرا قیمت این دو تفاوت زیادی دارد و compressor فقط روی یکی از آنها اثر میگذارد. در تاریخ 2 November 2026، هزینه Claude Sonnet 4.6 برابر با $3 بهازای هر یک میلیون توکن input و $15 بهازای هر یک میلیون توکن output است و هزینه خواندن prompt-cache برابر با 10% نرخ input، یعنی $0.30 بهازای هر یک میلیون توکن، است. Claude Sonnet 5.5 جدیدتر $2 و $10 قیمت دارد و هزینه cache read آن 5% نرخ input، یعنی $0.10، است. تفاوت هزینه توکن input و output تعیین میکند که آیا input-side compressor برای شما ارزش دارد یا نه. توکنهای Claude Code واقعاً کجا مصرف میشوند نشان میدهد کدام بخش از context آنقدر بزرگ است که فشردهسازی آن ارزش بررسی داشته باشد.
Prompt caching بهویژه محاسبات مربوط به tool-filter را پیچیده میکند. block ابزار در ابتدای request قرار دارد؛ بنابراین پس از turn اول معمولاً cache hit است. در Sonnet 4.6، هزینه آن 10% قیمت input است. حذف 21,000 توکن از یک block ذخیرهشده در cache، با نرخ $0.30 بهازای هر یک میلیون توکن، حدود $0.006 در هر turn صرفهجویی میکند؛ نه $0.063 که نرخ بدون cache نشان میدهد. پروژه block فیلترشده را در طول session ثابت نگه میدارد تا prefix ذخیرهشده در cache تغییر نکند. فیلتری که در هر turn ابزارها را دوباره انتخاب کند، آن prefix را نامعتبر میکند و ممکن است هزینه آن از صرفهجویی حاصل بیشتر شود.
آنچه هنوز راستیآزمایی نشده است
تمام اعداد مربوط به عملکرد که در بالا آمدهاند، از خود پروژه گرفته شدهاند. یک بررسی مستقل برای فشردهسازی روی پیکرهٔ مصنوعی وجود دارد، اما این بررسی صراحتاً موفقیت در وظایف SWE-bench را آزمایش نمیکند؛ بنابراین اعداد مربوط به کیفیت حل SWE-bench Lite در پروژه، همچنان بهطور مستقل تأیید نشدهاند. از آنجا که gateway در July 2026 متنباز شده است، سابقهٔ عملیاتی این کد نیز بسیار محدود است. نرخ فشردهسازی و رقم مربوط به کیفیت حفظشده، هر دو توسط طرفی اندازهگیری شدهاند که از مطلوب بهنظررسیدن آنها سود میبرد. این موضوع بهمعنای نادرستبودن آنها نیست. یعنی این اعداد هنوز تأیید نشدهاند و باید با آنها متفاوت از عددی برخورد کنید که خودتان تولید کردهاید.
پیش از آنکه setup خود را مقصر بدانید، دانستن یک رفتار مستند مفید است. مدل embedding مورد استفاده در فیلتر ابزار، در نخستین request بارگذاری میشود، نه هنگام startup. به همین دلیل، پروژه warm-up بهمدت 10 تا 15 ثانیه و پس از آن حدود 15 ms برای هر call را مستند کرده است. پس از شروع proxy، یک request آزمایشی ارسال کنید تا نخستین نوبت واقعی agent ظاهراً گیر نکرده باشد.
چهار مورد را میتوانید خودتان در یک بعدازظهر مشخص کنید: آیا proxy شروع میشود و فعال میماند، آیا /stats هنگام کار تغییر میکند، آیا ردیف input-token ارائهدهندهٔ شما واقعاً کاهش مییابد، و آیا agent همچنان کار را به پایان میرساند. این موارد برای setup شما بسیار تعیینکنندهتر از هر benchmark منتشرشدهای هستند.
دربارهٔ جایگاه این ابزار در کنار ابزارهای دیگر: یک gateway خودمیزبان LiteLLM درخواستها را بدون تغییر محتوای آنها route و اندازهگیری میکند؛ بنابراین این دو ابزار مسائل متفاوتی را حل میکنند و میتوان آنها را بهصورت زنجیرهای به کار برد، بهطوریکه Paritok به agent نزدیکتر باشد. اگر هدف واقعی، کاهش صورتحساب است نه استفاده از این ابزار خاص، مجموعهٔ گستردهتر کنترل هزینه برای یک agent روی VPS شامل چند تغییر است که میتوانید ابتدا و بدون هزینه امتحان کنید.
FAQ
آیا Paritok صورتحساب API من را کاهش میدهد یا فقط میزان استفاده از context را؟
این ابزار درخواست را پیش از رسیدن به ارائهدهنده سرویس کوچک میکند؛ صرفهجویی در هزینه به قیمت توکنهای حذفشده و تعداد دفعات نوبتدهی (turn count) عامل بستگی دارد. میزان این کاهش از آنچه در تیترها مطرح میشود، کمتر است. عدد 74% نرخ فشردهسازی روی محتوایی است که فشرده میشود. در مجموع، این پروژه حدود 25% صرفهجویی در یک نوبت و پیشبینی 63% صرفهجویی در توکنهای ورودی تا نوبت 20 را گزارش میدهد. توکنهای خروجی بدون تغییر عبور میکنند، اما مقدار تولیدشده همچنان به رفتار عامل بستگی دارد.
برای میزبانی مدل فشردهسازی به چه مقدار GPU نیاز دارم؟
استفاده از GPU اختیاری است: Ollama مدل را روی CPU نیز اجرا میکند. نسخه q4 حدود 2.5 GB و نسخه f16 حدود 8 GB حجم دارد، بنابراین مدل بهراحتی در یک کارت 24 GB با فضای خالی بسیار زیاد جای میگیرد. کارتهای کوچکتر نیز کار میکنند و محاسبات نقطه سربهسر را به نفع شما تغییر میدهند. فیلتر tool-schema اصلاً به GPU نیاز ندارد: این فیلتر از BAAI/bge-small-en-v1.5 استفاده میکند، یک مدل embedding با حجم 130 MB که روی CPU اجرا میشود. با نصب paritok[toolselect] روی یک VPS معمولی، میتوانید کاهش tool-block را تنها با صرف مقدار کمی RAM به دست آورید.
اگر فشردهساز چیزی را که عامل به آن نیاز داشته حذف کند، چه اتفاقی میافتد؟
هیچچیز برای همیشه از دست نمیرود. مدل بخشهایی از محتوای ارسالی را حذف میکند، اما بخشهای فشردهشده دارای برچسب [REF:id] هستند و مدل متن کامل را با read_original یا expand_context بازیابی میکند. فیلتر پیشفرض ابزار، ابزارهای استاندارد انتخابنشده و ابزارهای MCP انتخابنشده را حذف میکند، مگر اینکه سیگنال مرتبط بودن MCP فعال شود که در آن صورت، آن ابزارهای MCP را به صورت stub در میآورد. بازیابی ابزار از gateway_search_tools و تشخیص پیامهای مربوط به ابزارهای مفقود استفاده میکند. ریسک واقعی بسیار نامحسوستر از یک فایل گمشده است: مدل بر اساس یک گزیده با اتلاف (lossy) کار میکند و ممکن است هرگز متوجه نشود که باید نسخه اصلی را درخواست کند. عدد 86.5% حفظ کیفیت در SWE-bench Lite، میزان درک تکمرحلهای از سورس خام فشردهشده را با قابلیت recall غیرفعال و بازیابی ویرایش تولیدی فعال اندازهگیری میکند؛ این عدد فیلتر tool-schema روی CPU یا کل gateway چندنوبتی را اندازهگیری نمیکند.
چرا اولین درخواست من پانزده ثانیه طول میکشد؟
مدل embedding پشت فیلتر ابزار، بهجای زمان راهاندازی، در اولین درخواست بارگذاری میشود. مستندات پروژه به یک زمان گرمشدن (warm-up) بین 10 تا 15 ثانیه اشاره دارند و پس از آن، هر فراخوانی تقریباً 15 میلیثانیه زمان میبرد. پس از شروع پروکسی، یک درخواست بیاثر با curl بفرستید تا اولین نوبت واقعی عامل دچار وقفه نشود.
آیا باید بهجای میزبانی شخصی، از سرور GPU میزبانیشده استفاده کنم؟
این کار میزبانی مدل فشردهسازی و اجاره GPU را حذف میکند، در حالی که شما همچنان مدیریت gateway را بر عهده دارید. تا تاریخ 2 نوامبر 2026، هزینه آن $0.30 به ازای هر میلیون توکن فایل فشردهشده است که از اعتبار پیشپرداخت کسر میشود و $5 اعتبار رایگان برای حسابهای جدید در نظر گرفته شده است؛ دوره عرضه رایگان در 1 اکتبر 2026 به پایان رسید. همچنین این سرویس پرامپتها و فایلهایی که عامل شما میخواند را پیش از رسیدن به ارائهدهنده مدل، برای یک شخص ثالث ارسال میکند. اگر به دلیل حفظ کد روی زیرساختی که کنترل میکنید در حال میزبانی شخصی هستید، این تنظیمات دلیل اصلی شروع کار شما را خنثی میکند. میزبانی شخصی، فشردهسازی را روی دستگاه خودتان نگه میدارد؛ درخواستهای فشردهشده و اعتبارنامههای ارائهدهنده همچنان به سمت ارائهدهنده مدل شما ارسال میشوند.