SSD Nodes Learn Hosting plans →
Mwongozo Matt ConnorNa Matt Connor · Imeboreshwa 2026-11-07

Paritok: Jinsi ya kupunguza gharama za token za AI

Paritok inabana usomaji wa faili na matokeo ya zana kwa wakala wako wa uandishi wa code. Mradi huu unadai kupunguza token kwa 74%. Jifunze utaratibu na hesabu za gharama.

Jinsi Paritok inavyoshughulikia ombi

Paritok ni gateway ya token: proxy inayokaa kati ya wakala wako wa uandishi wa code (coding agent) na API ya model, na kubana kila ombi kabla ya kulisambaza. Wakala wako huwasiliana na http://127.0.0.1:8080 badala ya mtoa huduma. Proxy hii hupunguza ukubwa wa schema za zana, usomaji wa faili, matokeo ya zana na mzunguko wa awali wa mazungumzo, hutuma mzigo (payload) mdogo kwenda juu, na kurudisha jibu bila kulibadilisha.

Mtoa huduma hukutoza kwa kile kinachowasili kwake, lakini ankara hutegemea ni token zipi ziliondolewa, bei zake za cache, na idadi ya mizunguko inayofanywa na wakala. Hiyo ndiyo dhana nzima. Hii ni madai tofauti na "context yako inadumu muda mrefu zaidi", na ndiyo sababu zana hii inavutia badala ya kuwa nadhifu tu.

Mradi huu bado ni mchanga. Gateway hii ilifanywa kuwa open-source tarehe 15 Julai 2026, na PyPI inaonyesha toleo la v1.3.14 kuwa la tarehe 6 Oktoba 2026 na v1.3.0 kuwa la tarehe 5 Agosti. Uzito (weights) na code ya gateway ni chini ya leseni ya Apache 2.0. Model ya kubana ni adapter ya LoRA (low-rank adaptation) kwenye Qwen3-4B-Instruct-2507, iliyochujwa kutoka kwenye mkusanyiko wa vipande 45,000 vilivyochukuliwa kutoka kwenye trajectories halisi za coding-agent, ambapo 40,606 zilipita uthibitisho wa mwalimu na kuwa mifano ya mafunzo.

Kwa nini hii siyo kupunguza muktadha (context trimming)

Kupunguza (trimming) hufuta data kabisa. Wakati wakala (agent) anapokaribia kikomo cha muktadha wake na kuondoa mazungumzo ya zamani, faili aliyoisoma katika zamu ya 3 hupotea. Ikiwa atahitaji faili hiyo katika zamu ya 20, anaisoma tena, kwa hivyo unalipia token hizo mara ya pili. Akiba hiyo ilikuwa ni kama mkopo.

Paritok hubadilisha sehemu fulani na umbo fupi pamoja na tag, [REF:id], na kuhifadhi maandishi kamili kwenye proxy. Model hurejesha sehemu hiyo kwa kuita read_original au expand_context. Hiyo hubadilisha namna ya kufeli. Kipunguza (trimmer) hufeli kwa kusahau, na hakukuambii kamwe. Kikandamizaji (compressor) hufeli kwa kuipa model dondoo iliyopoteza data, na model inaweza kuomba asilia wakati dondoo haitoshi.

Schema za zana zilizochujwa (filtered tool schemas) hubaki zinaweza kurejeshwa, lakini kichujio cha kawaida cha adaptive huondoa zana za kawaida ambazo hazikuchaguliwa na huondoa zana za MCP ambazo hazikuchaguliwa isipokuwa ishara yake ya umuhimu wa MCP itakapowaka. Ishara hiyo inapowaka, zana za MCP ambazo hazikuchaguliwa hubadilishwa kuwa stub. gateway_search_tools inasaidia urejeshaji, na gateway pia hutambua ujumbe wa zana zilizokosekana na kuingiza zana zinazolingana kabla ya kujaribu tena. Hii ni muhimu kwa sababu kichujio kinachoficha zana kabisa hubadilisha kile ambacho wakala wako anaweza kufanya, na ungejifunza kuhusu hilo kupitia kazi iliyoharibika kimya kimya.

Viwango vitatu, na kipi ni cha bure

Kiwango cha kwanza ni kichujio cha tool-schema. Kila ombi hubeba safu nzima ya tools. Katika mzunguko wa Claude Code bila seva za MCP (model context protocol) zilizounganishwa, mradi hupima kizuizi hicho kwa takriban token 29,000; kikiwa na MCP, huripoti token 44,000 hadi 65,000. Kichujio hicho hufanya embedding ya ombi la mtumiaji na maelezo ya kila zana kwa kutumia BAAI/bge-small-en-v1.5, modeli ya embedding ya 130 MB, huhifadhi zana zinazolingana, huondoa zana za kawaida zisizochaguliwa, na huweka stubs za zana za MCP zisizochaguliwa pale tu ishara ya umuhimu wa MCP inapojitokeza. Vinginevyo, huondoa zana hizo za MCP pia. Katika mfano wa mradi wa token 29,000, kizuizi hicho hushuka hadi takriban token 8,000. Modeli hiyo ya embedding huendeshwa kwenye CPU.

Kiwango cha pili ni ufinyazaji wa maudhui (content compression), na hii ndiyo sehemu inayotumia modeli ya 4B, kwenye GPU au kupitia Ollama kwenye CPU. Usomaji wa faili, matokeo ya zana na historia hupunguzwa hadi 25.7% ya ukubwa wake wa awali. Modeli huchagua sehemu za maandishi badala ya kuyaandika upya, huku ikiwa na uwezo mdogo wa kuandika upya kwa maudhui kama muhtasari wa hoja na uundaji wa wito wa zana (tool-call framing). Karatasi ya mradi hupima 96.0% ya vitambulishi, njia (paths) na namba zilizotolewa kama zinazoonekana neno kwa neno katika ingizo la corpus ya mafunzo iliyozalishwa na mwalimu; matokeo ya SWE-bench Lite ya modeli iliyofunzwa hupata alama 96.2% katika ukaguzi huo huo. Hapo ndipo kichwa cha habari cha 74% kinapotoka. Kisome kwa makini: 74% ni kiwango cha ufinyazaji kwenye maudhui yanayofinyazwa, si punguzo la bili yako.

Kiwango cha tatu ni muhtasari wa historia. Kwa chaguo-msingi, mara tu muktadha unapozidi 80% ya dirisha lililosanidiwa, mizunguko ya zamani hufupishwa huku mizunguko minne ya hivi karibuni ikibaki kama ilivyo ili kipindi kirefu kiendelee kufanya kazi badala ya kufikia kikomo.

GPU ni ya hiari kwa ajili ya self-hosting. Hiyo ndiyo sentensi muhimu zaidi kwenye ukurasa huu. pip install "paritok[toolselect]" hukupa kichujio cha zana kwenye VPS ya kawaida ya CPU, bila ada ya kila token. Ijaribu kabla ya kukodisha kadi.

Vipimo vya mradi na mfumo uliotumika

ChatiSWE-bench Lite: compression rate against solve quality retained (project's published figures)
Data iliyo nyuma ya chati hii
[
  {
    "label": "Paritok-4B-v1",
    "compressed_to_pct": 25.7,
    "quality_retained_pct": 86.5
  },
  {
    "label": "gpt-4.1-mini",
    "compressed_to_pct": 50.2,
    "quality_retained_pct": 85.6
  },
  {
    "label": "gpt-5",
    "compressed_to_pct": 61.9,
    "quality_retained_pct": 93.6
  }
]

Hizi ni takwimu zilizochapishwa na mradi wenyewe, zilizopimwa kwa kutumia mfumo wake dhidi ya SWE-bench Lite. Paritok-4B-v1 hubana maudhui hadi 25.7% ya ukubwa wa awali huku ikihifadhi 86.5% ya kiwango cha utatuzi bila kubanwa. Kutumia gpt-5 kama kikandamizaji huhifadhi ubora zaidi, 93.6%, lakini hubana hadi 61.9% pekee, na utakuwa ukilipa gharama za mifumo ya hali ya juu ili kuokoa gharama za mifumo ya hali ya juu.

Soma safu ya ubora kwa umakini. Ubora ulihifadhiwa ni kiwango cha utatuzi cha kikandamizaji kikigawanywa na kiwango cha utatuzi cha msingi kisichobanwa. Kuhifadhi 86.5% kunamaanisha kupungua kwa 13.5% kwa utatuzi ikilinganishwa na msingi huo; haijumuishi sehemu ya matatizo yaliyotatuliwa kwenye msingi yaliyopotea, kwa sababu majaribio yaliyobanwa yanaweza pia kutatua matatizo tofauti. Takwimu hii hupima uelewa wa mara moja wa chanzo cha data kilichobanwa bila kutumia recall na kukiwa na uwezeshaji wa urejeshaji wa edit za uzalishaji; haipimi kichujio cha CPU tool-schema au gateway kamili ya hatua nyingi.

ChatiReported input-token saving as a session grows (project's own harness)
Data iliyo nyuma ya chati hii
[
  {
    "label": "Turn 1",
    "saved_pct": 25
  },
  {
    "label": "Turn 5",
    "saved_pct": 39
  },
  {
    "label": "Turn 12",
    "saved_pct": 57
  },
  {
    "label": "Turn 20",
    "saved_pct": 63
  }
]

Akiba ya mwisho hadi mwisho huongezeka kadiri kikao kinavyoendelea, kwa sababu historia hujilimbikiza na historia ndiyo inayobanwa. Mradi unaripoti takriban 25% katika hatua moja, 39% kufikia hatua ya 5, na 63% kufikia hatua ya 20. Hatua ya 1 hadi 5 pekee ndizo zilizopimwa; README huita safu za baadaye kama makadirio. Pia inasema mahali ambapo ukuaji huishia: kwenye bajeti ya token 200,000, akiba ya maudhui kwa kila hatua husimama kwenye takriban token 48,000, mahali fulani karibu na hatua ya 8 hadi 12, kwa sababu muktadha unapojaa, historia huacha kukua. Akiba ya ziada ya kichujio cha zana huongeza takriban token 21,000 kwa kila hatua, na kufanya makadirio ya jumla ya ukomo kuwa takriban token 69,000 kwa kila hatua. Takwimu inayotajwa sana ya "zaidi ya 85%" inaelezea vikao vilivyojaa muktadha. Hiyo ndiyo hali bora zaidi, na README hiyo hiyo inasema akiba husimama kuelekea ukomo wa takriban 72% chini ya mipangilio chaguo-msingi, kwa hivyo usipange shughuli zako kulingana na hiyo.

Je, GPU ya 24GB inalipa gharama kwa ajili ya Paritok?

GPU ni ya hiari, na modeli hii inatoshea kwenye kadi ndogo kuliko 24 GB. Kwa hesabu ya mfano ya ukodishaji, chukua $0.44 kwa saa kwa kadi ya 24 GB. Ikiachwa iwake mwezi mzima, hiyo ni saa 730, hivyo ni $321. Ikiwashwa wakati wa saa za kazi pekee, saa 8 kwa siku kwa siku 22, inakuwa saa 176, hivyo ni $77.

Sasa badilisha upunguzaji wa token kuwa upunguzaji wa dola. Upunguzaji huu unahusu token za kuingiza (input tokens). Token za kutoa (output tokens) hupita kwenye proxy bila kuguswa, kwa hivyo proxy haizibani. Piga bei ya mabadiliko katika input mpya, uandishi wa cache, na usomaji wa cache kando, kwa kutumia viwango vya mtoa huduma wako, kisha linganisha gharama ya jumla ya API kabla na baada. Hata kama input inachangia 80% ya jumla ya dola zako, kuzidisha upunguzaji wa token kwa 0.8 hakutoi akiba yako ya bili.

ChatiMonthly API saving needed to cover an illustrative $0.44/hour card
Data iliyo nyuma ya chati hii
[
  {
    "label": "Always on (730 hours)",
    "required_api_saving_usd": 321.2
  },
  {
    "label": "Workday only (176 hours)",
    "required_api_saving_usd": 77.44
  }
]

Kadi iliyoachwa ikiwaka inajilipia gharama pindi akiba yako ya kila mwezi ya API inapozidi $321.2, au $77.44 ikiwa utazima instance hiyo nje ya saa za kazi. Upunguzaji wa token kwa 85% pekee haumaanishi akiba ya 68% ya bili, kwa hivyo haiwezi kuweka kizingiti cha matumizi ya wakala kwa mwezi. Gawanya gharama ya ukodishaji kwa sehemu ya akiba ya bili uliyopima ili kupata kizingiti hicho.

Mambo mawili hufanya hili kuwa bora kuliko chati inavyopendekeza. Modeli haihitaji 24 GB: toleo la q4 ni takriban 2.5 GB na toleo la f16 ni takriban 8 GB, kwa hivyo kadi ndogo, au seva ya GPU unayotumia kwa kitu kingine, hupunguza kila namba kwenye chati hiyo. Na kuzima instance wakati hakuna anayepanga programu (coding) ndiyo njia kuu ya kuokoa, kwa sababu inapunguza kodi kwa takriban robo tatu.

Jambo moja hufanya hili kuwa mbaya zaidi. Mchakato wa kubana (compression pass) ni kazi halisi. Kila token inayobanwa na modeli ya 4B ni token ambayo lazima isome, na kila sehemu inayohifadhi ni ile ambayo lazima iandike tena, jambo linaloongeza latency kwenye kila zamu ya wakala. Kwenye kadi unayokodisha kwa saa, gharama hiyo huonekana kama kusubiri, si kama mstari kwenye ankara, kwa hivyo ni rahisi kuikosa hadi pale unapoihisi.

Ikiwa unapima saa za GPU zilizokodishwa dhidi ya token za API kwa ujumla, kizingiti cha faida kati ya GPU VPS na token za API hufuata hesabu ileile kwa ajili ya inference yenyewe.

Kuendesha gateway ya Paritok kwenye VPS

Metadata ya kifurushi kwenye PyPI inakubali Python 3.10 au mpya zaidi, ingawa beji ya README inasema 3.11+. Ubuntu 24.04 inakuja na Python 3.12, kwa hivyo image ya kawaida ya VPS inatosha kwa ajili ya CPU tool filter.

sudo apt update && sudo apt install -y python3-venv curl
python3 -m venv /opt/paritok/venv
source /opt/paritok/venv/bin/activate
pip install "paritok[proxy]==1.3.14"
pip install "paritok[toolselect]==1.3.14"

Funga toleo (pin the version). PyPI inaonyesha v1.3.0 ilitoka tarehe 5 Agosti 2026 na v1.3.14 tarehe 6 Oktoba 2026, na mradi unaoenda kwa kasi hiyo hubadilisha majina kati ya releases: v1.3.0 yenyewe ilibadilisha jina la expand_context kuwa read_original katika API yake. pip install paritok tupu, au git clone ya main, itakupa gateway tofauti wiki ijayo na haitaacha rekodi ya ni ipi iliyozalisha namba ulizopima.

Backend chaguo-msingi ni Ollama. Vuta (pull) model, kisha uipe jina fupi ambalo proxy inalitafuta.

ollama pull paritok/paritok-4b-v1
ollama cp paritok/paritok-4b-v1 paritok-4b-v1

Kwa sababu model ya ndani inaandika spans inazohifadhi kwa kila segment inayofinya (compress), mchakato wa compression unaochukua muda mrefu huonekana kama zamu ya agent iliyokwama, na kikomo cha num_predict cha Ollama kwenye urefu wa output ndicho kidhibiti kinachoiwekea mipaka.

Andika paritok.yaml karibu nayo. use_gpu_server: false ndicho kinachoweka compression kwenye vifaa vyako mwenyewe.

use_gpu_server: false
local_model:
  base_url: http://localhost:11434/v1
paritok proxy --port 8080 --config-file paritok.yaml

paritok up ni njia ya mkato ya kuvuta model ikiwa haipo na kuanzisha proxy kwenye port 8080; Ollama lazima iwe imesakinishwa tayari. Hakiki proxy kabla ya kuelekeza agent kwake.

curl http://127.0.0.1:8080/health
curl http://127.0.0.1:8080/stats

/health inarudisha JSON object ndogo iliyo na "status":"ok" na string ya toleo. /stats inarudisha jumla ya compression na makadirio ya proxy yenyewe ya kile ilichookoa. Chukulia makadirio hayo kama proxy kujipima kazi yake yenyewe, na uyathibitishe dhidi ya ukurasa wa matumizi wa mtoa huduma wako.

Kwa ajili ya throughput badala ya urahisi, vLLM inahudumia adapter juu ya base model.

vllm serve Qwen/Qwen3-4B-Instruct-2507 \
  --enable-lora \
  --lora-modules paritok-4b-v1=paritok/paritok-4b-v1 \
  --max-lora-rank 32 \
  --port 8000

Flag ya --max-lora-rank 32 iko kwenye amri ya mradi wenyewe kwa sababu adapter ni rank 32. Kisha weka local_model.base_url kuwa http://localhost:8000/v1 katika paritok.yaml ili proxy iwasiliane na vLLM badala ya Ollama.

Ollama ni ya haraka kusanidi. vLLM inashughulikia maombi mengi kwa wakati mmoja (concurrent requests) vizuri zaidi, jambo ambalo huanza kuwa muhimu pindi tu zaidi ya agent mmoja anaposhiriki seva hiyo. Tofauti ya kivitendo kati ya Ollama na vLLM ndiyo inayoamua hili kwa ajili yako.

Elekeza agent kwenye proxy kwa kutumia environment variables za base URL.

export ANTHROPIC_BASE_URL=http://127.0.0.1:8080
export OPENAI_BASE_URL=http://127.0.0.1:8080

Codex CLI inapuuza OPENAI_BASE_URL, kwa hivyo paritok up inakuandikia ~/.codex/config.toml wakati codex.enabled: true imewekwa katika paritok.yaml. Kusafirisha (export) variable peke yake kutaiacha Codex ikiwasiliana moja kwa moja na mtoa huduma, na ishara ya hilo ni counter ya /stats ambayo haisogei unapofanya kazi.

Weka listener kwenye 127.0.0.1, kamwe usiiweke kwenye 0.0.0.0. Proxy inasambaza vitambulisho (credentials) vilivyotolewa na kila ombi kwenda juu (upstream), na endpoint yake ya /stats isiyo na uthibitishaji (unauthenticated) inafichua sampuli za maudhui asilia na yaliyofinywa, kwa hivyo listener inayoelekea kwenye Internet inafichua context ya siri na rasilimali za compression za ndani. Ifikie kutoka kwenye laptop kupitia SSH tunnel au VPN badala ya kufungua port hiyo.

Iendeshe chini ya systemd ili iweze kuendelea kufanya kazi baada ya reboot. Rekebisha njia (paths) ili zilingane na usakinishaji wako. Unda mtumiaji wa paritok ambaye unit hiyo inafanya kazi chini yake, na upe directory ya usakinishaji:

sudo useradd --system --home-dir /opt/paritok --shell /usr/sbin/nologin paritok
sudo chown -R paritok:paritok /opt/paritok
[Unit]
Description=Paritok compression proxy
After=network-online.target

[Service]
User=paritok
WorkingDirectory=/opt/paritok
ExecStart=/opt/paritok/venv/bin/paritok proxy --port 8080 --config-file /opt/paritok/paritok.yaml
Restart=on-failure

[Install]
WantedBy=multi-user.target

Iwezeshe kwa sudo systemctl enable --now paritok, kisha fanya curl kwenye /health tena. Unit inayoanza na kuzima mara moja kwa kawaida inamaanisha njia ya faili ya usanidi (config file path) si sahihi, na journalctl -u paritok -n 50 inachapisha sababu hiyo.

Chaguo la huduma inayopangishwa, na gharama zake

Mradi huu pia unauza huduma ya compression kama huduma (SaaS). Weka use_gpu_server: true ukiwa na API key kutoka paritok.com na model ya 4B itafanya kazi kwenye maunzi yao. Kufikia tarehe 2 Novemba 2026, inatoza $0.30 kwa kila token milioni moja za faili inazozibana, ikitumia mkopo wa kulipia kabla (prepaid credit), na uchujaji wa tool-schema ni bure. Akaunti mpya hupata $5 ya mkopo wa bure bila kuhitaji kadi. Kipindi cha uzinduzi ambacho huduma hii ilikuwa bure kiliisha tarehe 1 Oktoba 2026, kwa hivyo sasa ni huduma ya kulipia. Hii inaondoa kazi ya kupangisha compression-model, huku wewe ukiendelea kuendesha gateway.

Hii pia inamaanisha kuwa prompts zako na faili ambazo agent wako anazisoma huondoka kwenye mashine yako na kufika kwa wahusika wengine kabla hazijafika kwa mtoa huduma wako wa model. Self-hosting ipo ili kuepuka hatua hiyo hasa. Amua ni lipi kati ya hayo mawili unalolipa kipaumbele kabla ya kuweka flag hiyo, kwa sababu flag hiyo ni mabadiliko ya mstari mmoja tu lakini matokeo yake si madogo.

Jinsi ya kupima matokeo yako kabla na baada

Namba zilizochapishwa ni za mradi huu, zikipatikana kupitia mfumo wa majaribio wa mradi, kwenye SWE-bench Lite. Hazina yako si SWE-bench Lite. Pima matokeo yako mwenyewe.

  • Endesha wiki moja ya kawaida bila proxy yoyote kwenye njia ya mawasiliano. Rekodi tokeni za input, cache-write, cache-read, na output kama mistari tofauti kutoka kwenye ukurasa wa matumizi wa mtoa huduma wako, usirekodi kama jumla ya gharama ya dola pekee.
  • Endesha wiki inayofuata ukiwa na proxy mbele, ukifanya kazi ya aina ileile.
  • Linganisha kategoria za input kwa bei zake halisi na ujumuishe mabadiliko yoyote katika gharama ya output. Proxy haifanyi compression ya output, lakini mabadiliko katika tabia ya wakala na idadi ya hatua (turn count) bado huathiri kiasi cha output unachonunua.
  • Hesabu kazi ulizolazimika kurudia. Hiyo ndiyo nusu ya ubora wa biashara hii, na hakuna dashibodi yoyote inayoripoti hilo.
  • Ongeza saa za GPU kwenye wiki ya pili kabla ya kulinganisha jumla ya gharama.

Kutenganisha input na output ni muhimu kwa sababu hivi viwili vina bei tofauti sana na compressor hugusa kimoja tu. Kufikia tarehe 2 Novemba 2026, Claude Sonnet 4.6 inagharimu $3 kwa kila milioni ya input tokens na $15 kwa kila milioni ya output tokens, na usomaji wa prompt-cache ni 10% ya kiwango cha input, yaani $0.30 kwa milioni. Claude Sonnet 5.5 mpya inagharimu $2 na $10, na usomaji wake wa cache ni 5% ya kiwango cha input, yaani $0.10 kwa milioni. Pengo kati ya gharama ya tokeni za input na output ndilo linaloamua kama compressor ya upande wa input ina thamani yoyote kwako. Mahali ambapo tokeni za Claude Code huenda kihalisi inakuonyesha ni sehemu gani ya muktadha wako ni kubwa vya kutosha kuhitaji kufanyiwa compression.

Prompt caching hufanya hesabu za tool-filter kuwa ngumu zaidi. Kizuizi cha zana (tool block) hukaa mwanzoni mwa ombi, kwa hivyo baada ya hatua ya kwanza kwa kawaida huwa ni cache hit; kwenye Sonnet 4.6 hiyo inagharimu 10% ya bei ya input. Kupunguza tokeni 21,000 kutoka kwenye kizuizi kilichohifadhiwa kwenye cache huokoa 21,000 kwa $0.30 kwa milioni, takriban $0.006 kwa kila hatua, badala ya $0.063 ambayo kiwango cha bila cache kingeonyesha. Mradi huu huweka kizuizi kilichochujwa kikiwa kimegandishwa kwa ajili ya kipindi hicho ili kiambishi awali (prefix) kilichohifadhiwa kwenye cache kisibadilike. Kichujio (filter) kinachochagua zana upya kila hatua kingefuta uhalali wa kiambishi awali hicho na kinaweza kugharimu zaidi ya kile kilichookolewa.

Mambo ambayo bado hayajathibitishwa

Kila takwimu ya utendaji hapo juu inatoka kwa mradi wenyewe. Uchunguzi huru wa ukandamizaji wa data (compression) kwa kutumia synthetic-corpus upo, lakini haujaribu mafanikio ya kazi za SWE-bench; takwimu za ubora wa utatuzi wa SWE-bench Lite za mradi huu bado hazijathibitishwa na wahusika wengine. Kwa kuwa gateway ilifunguliwa kama open-source mnamo Julai 2026, hakuna historia kubwa ya kiutendaji nyuma ya msimbo huu. Kiwango cha ukandamizaji na takwimu ya ubora uliotunzwa vyote hupimwa na upande unaofaidika na matokeo hayo kuonekana mazuri. Hii haimaanishi kuwa ni makosa. Inamaanisha kuwa hayajathibitishwa, na unapaswa kuyachukulia tofauti na takwimu ulizozizalisha wewe mwenyewe.

Kuna tabia moja iliyoandikwa kwenye nyaraka ambayo inafaa kuijua kabla ya kulaumu usanidi wako. Embedding model inayotumiwa na kichujio cha zana hii hupakiwa kwenye ombi la kwanza badala ya wakati wa kuanza (startup), kwa hivyo mradi unaelekeza kufanya warm-up ya sekunde 10 hadi 15, kisha takriban 15 ms kwa kila ombi baada ya hapo. Tuma ombi moja la majaribio baada ya proxy kuanza na zamu yako ya kwanza ya kweli ya agent haitaonekana kama imekwama.

Mambo manne unayoweza kuyathibitisha mwenyewe katika mchana mmoja: kama proxy inaanza na kubaki ikiwa imewaka, kama /stats inasonga wakati unafanya kazi, kama mstari wa input-token wa mtoa huduma wako unapungua kweli, na kama agent bado anamaliza kazi. Haya ndiyo yanayoamua kama inafaa kwa usanidi wako kuliko benchmark yoyote iliyochapishwa.

Kuhusu mahali ambapo zana hii inakaa kulingana na zana zako nyingine: gateway ya LiteLLM inayojiendesha yenyewe huelekeza na kupima maombi bila kubadilisha yaliyomo, kwa hivyo zana hizi mbili hutatua matatizo tofauti na zinaweza kuunganishwa, huku Paritok ikiwa karibu zaidi na agent. Ikiwa lengo la kweli ni kupunguza gharama badala ya kutumia zana hii mahususi, seti pana ya udhibiti wa gharama kwa ajili ya agent kwenye VPS inajumuisha mabadiliko kadhaa ambayo hayagharimu chochote kujaribu kwanza.

FAQ

Je, Paritok hupunguza gharama yangu ya API au matumizi ya context pekee?

Hupunguza ukubwa wa ombi kabla halijafika kwa mtoa huduma; akiba ya gharama inategemea bei ya token zilizoondolewa na idadi ya hatua (turns) za wakala. Kiasi cha punguzo hilo ni kidogo kuliko inavyoonekana kwenye kichwa cha habari. Asilimia 74 ni kiwango cha mgandamizo (compression rate) kwenye maudhui yanayobanwa. Kwa ujumla, mradi huu unaripoti takriban asilimia 25 kwa hatua moja na unakadiria asilimia 63 kufikia hatua ya 20 kama akiba ya input-token. Token za output hupita bila kubadilishwa, lakini kiasi kinachozalishwa bado kinategemea tabia ya wakala.

Ninahitaji GPU kiasi gani ili ku-host mfumo wa mgandamizo (compression model)?

GPU si lazima: Ollama huendesha mfumo huo kwenye CPU pia. Toleo la q4 lina ukubwa wa takriban 2.5 GB na toleo la f16 lina takriban 8 GB, kwa hivyo mfumo huu hutoshea ndani ya kadi ya 24 GB huku kukiwa na nafasi kubwa iliyobaki. Kadi ndogo zaidi hufanya kazi, na hiyo hubadilisha hesabu za faida kwa upande wako. Kichujio cha tool-schema hakihitaji GPU yoyote: kinatumia BAAI/bge-small-en-v1.5, mfumo wa embedding wa 130 MB unaoendeshwa kwenye CPU. Sakinisha paritok[toolselect] kwenye VPS ya kawaida na utapata punguzo la tool-block kwa gharama ya RAM kidogo tu.

Nini hutokea ikiwa kikandamizaji (compressor) kitaondoa kitu ambacho wakala alikihitaji?

Hakuna kinachopotea kabisa. Mfumo hufuta sehemu (spans) kutoka kwa kile kinachotumwa mbele, lakini sehemu zilizokandamizwa hubeba tag ya [REF:id] na mfumo hurejesha maandishi kamili kwa kutumia read_original au expand_context. Kichujio cha kawaida cha zana huondoa zana za kawaida ambazo hazikuchaguliwa na huondoa zana za MCP ambazo hazikuchaguliwa isipokuwa ishara ya umuhimu wa MCP ikitokea, ambapo hufanya stubs kwa zana hizo za MCP. Urejeshaji wa zana hutumia gateway_search_tools na utambuzi wa ujumbe wa zana zilizokosekana. Hatari halisi ni tulivu zaidi kuliko faili iliyokosekana: mfumo hufanya kazi kutokana na dondoo iliyopoteza data (lossy excerpt) na haugundui kamwe kuwa unapaswa kuomba asilia. Takwimu ya asilimia 86.5 ya ubora uliorejeshwa kwenye SWE-bench Lite hupima uelewa wa mara moja wa chanzo kibichi kilichokandamizwa huku uwezo wa kukumbuka (recall) ukiwa umezimwa na urejeshaji wa uhariri wa uzalishaji ukiwa umewashwa; haipimi kichujio cha tool-schema cha CPU au gateway kamili ya hatua nyingi.

Kwa nini ombi langu la kwanza huchukua sekunde kumi na tano?

Mfumo wa embedding nyuma ya kichujio cha zana hupakia kwenye ombi la kwanza badala ya wakati wa kuanza (startup). Mradi huu unaandika muda wa kujiandaa (warm-up) wa sekunde 10 hadi 15, kisha takriban 15 ms kwa kila ombi baada ya hapo. Tuma ombi moja la majaribio na curl baada ya kuanzisha proxy, na hatua ya kwanza ya wakala halisi haitakwama.

Je, nitumie seva ya GPU iliyohostiwa badala ya kujihostia mwenyewe?

Hii huondoa uhitaji wa kuhosti mfumo wa mgandamizo na kodi yoyote ya GPU, huku ukiendelea kusimamia gateway. Kufikia tarehe 2 Novemba 2026, gharama ni $0.30 kwa kila milioni moja ya token za faili zilizokandamizwa, zinazolipwa kutoka kwa mkopo wa awali, na $5 ya mkopo wa bure kwa akaunti mpya; kipindi cha uzinduzi wa bure kilimalizika tarehe 1 Oktoba 2026. Pia hutuma maelekezo (prompts) yako na faili ambazo wakala wako anasoma kwa wahusika wengine kabla hazijafika kwa mtoa huduma wako wa mfumo. Ikiwa unajihostia ili kuweka msimbo kwenye miundombinu unayoimiliki, mpangilio huo unabatilisha sababu iliyokufanya uanze. Kujihostia kunahifadhi mgandamizo kwenye mashine yako mwenyewe; maombi yaliyokandamizwa na vitambulisho vya mtoa huduma bado huenda juu kwa mtoa huduma wako wa mfumo.

Je, makala hii ilikusaidia?