SSD Nodes Learn Hosting plans →
指南 Matt Connor作者: Matt Connor · 已更新 2026-11-09

Paritok token gateway 能省多少 coding agent 費用?

Paritok 是 coding agent 與 model API 之間的 proxy,會壓縮檔案讀取、tool output 與對話內容。專案宣稱可減少 74% token,本文拆解機制與損益平衡計算。

Paritok 對請求所做的處理

Paritok 是 token gateway,也就是位於 coding agent 與 model API 之間的 proxy。它會在轉送每個請求前先進行壓縮。你的 agent 會改為與 http://127.0.0.1:8080 通訊,而不是直接連線至 provider。proxy 會縮減 tool schema、檔案讀取內容、tool output 與較早的對話回合,將較小的 payload 傳送至上游,然後原樣傳回回應。

provider 會依送達 provider 的內容向你計費,但帳單金額取決於移除了哪些 token、這些 token 的 cache pricing,以及 agent 執行了多少回合。這就是整個概念。這與「你的 context 可以維持更久」是不同的主張,也是這項工具值得關注,而不只是讓內容更精簡的原因。

這個專案仍處於早期階段。該 gateway 於 15 July 2026 開放原始碼;PyPI 將 v1.3.14 的日期列為 6 October 2026,並將 v1.3.0 的日期列為 5 August。權重與 gateway 程式碼採用 Apache 2.0 授權。壓縮模型是以 Qwen3-4B-Instruct-2507 為基礎的 LoRA(low-rank adaptation)adapter,從真實 coding-agent 軌跡中擷取的 45,000 個片段所組成的資料池進行蒸餾;其中 40,606 個片段通過 teacher validation,成為訓練範例。

這不是 context trimming

Trimming 會永久刪除內容。當 agent 接近 context 限制並捨棄最早的對話回合時,它在第 3 回合讀取的檔案就不見了。如果它在第 20 回合需要該檔案,就必須再次讀取,因此這些 token 會再次計費。先前節省的內容只是暫時延後付費。

Paritok 會將一個區段替換為較短的內容與標籤 [REF:id],並在 proxy 上保留完整文字。模型可透過呼叫 read_original 或 expand_context 還原該區段。這會改變失敗模式。Trimmer 會因遺忘而失效,而且不會通知你。Compressor 則可能只把有資訊損失的摘錄交給模型;當摘錄不足時,模型可以要求原始內容。

經過篩選的工具 schema 仍可還原,但預設的 adaptive filter 會捨棄未選取的標準工具,也會捨棄未選取的 MCP 工具,除非 MCP relevance signal 被觸發。觸發該 signal 時,未選取的 MCP 工具會被替換為 stub。gateway_search_tools 支援還原;gateway 也會偵測遺漏工具的訊息,並在重試前注入相符的工具。這很重要,因為永久隱藏工具的 filter 會改變 agent 能執行的工作,而你可能只會在某個工作悄悄失敗後才發現這個問題。

3 個調節項,以及其中免費的一項

第一項是工具結構描述篩選器。每個請求都會帶有完整的 tools 陣列。在未連接 MCP(model context protocol)伺服器的 Claude Code 回合中,專案測得這個區塊約為 29,000 個 token;連接 MCP 時,則為 44,000 到 65,000 個 token。篩選器使用 BAAI/bge-small-en-v1.5(130 MB 的嵌入模型)嵌入使用者請求與每項工具的描述,保留相符的工具,捨棄未選取的標準工具;只有在 MCP 相關性訊號觸發時,才會為未選取的 MCP 工具建立 stub。否則,這些 MCP 工具也會被捨棄。在專案的 29,000-token 範例中,該區塊會縮減至約 8,000 個 token。這個嵌入模型在 CPU 上執行。

第二項是內容壓縮,也是使用 4B 模型的部分。模型可在 GPU 上執行,也可透過 Ollama 在 CPU 上執行。檔案讀取內容、工具輸出與歷程記錄會縮減至原始大小的 25.7%。模型主要選取內容片段,而不是改寫內容;只有推理摘要與工具呼叫框架等內容允許有限度改寫。專案論文測得,在教師產生的訓練語料中,輸出的識別碼、路徑與數字有 96.0% 與輸入逐字相同;訓練完成的模型在保留測試集 SWE-bench Lite 輸出上,依相同稽核方式得到 96.2%。74% 這個標題數字就是由此而來。請仔細解讀:74% 是遭到壓縮之內容的壓縮率,不是帳單費用的降幅。

第三項是歷程摘要。依預設,當內容超過設定視窗的 80% 時,較早的回合會轉為摘要,同時保留最近 4 個回合的完整內容。如此一來,長時間工作階段可以繼續執行,而不會立即達到限制。

自行託管不一定需要 GPU。這是本頁最實用的一句話。pip install "paritok[toolselect]" 可在一般 CPU VPS 上提供工具篩選功能,且不收取每個 token 的費用。先試用它,再考慮租用 GPU。

專案測量的內容,以及使用的測試框架

圖表SWE-bench Lite: compression rate against solve quality retained (project's published figures)
此圖表背後的資料
[
  {
    "label": "Paritok-4B-v1",
    "compressed_to_pct": 25.7,
    "quality_retained_pct": 86.5
  },
  {
    "label": "gpt-4.1-mini",
    "compressed_to_pct": 50.2,
    "quality_retained_pct": 85.6
  },
  {
    "label": "gpt-5",
    "compressed_to_pct": 61.9,
    "quality_retained_pct": 93.6
  }
]

這些是專案自行發布的數據,使用專案自己的測試框架,針對 SWE-bench Lite 進行測量。Paritok-4B-v1 將內容壓縮至原始大小的 25.7%,同時保留未壓縮解題率的 86.5%。使用 gpt-5 作為壓縮器可保留較高的品質,達 93.6%,但只能壓縮至 61.9%;也就是說,為了節省 frontier 價格,仍須支付 frontier 價格。

請如實解讀品質欄位。保留的品質,是壓縮器解題率除以未壓縮基準解題率。保留 86.5% 表示相較於該基準,解題數淨減少 13.5%;這並不表示基準已解出的問題中有多少比例未能解出,因為壓縮後的執行也可能解出不同的問題。此數據測量的是在停用 recall、啟用 production edit recovery 的情況下,對壓縮後原始原始碼的單次理解能力;它不測量 CPU tool-schema filter,也不測量完整的 multi-turn gateway。

圖表Reported input-token saving as a session grows (project's own harness)
此圖表背後的資料
[
  {
    "label": "Turn 1",
    "saved_pct": 25
  },
  {
    "label": "Turn 5",
    "saved_pct": 39
  },
  {
    "label": "Turn 12",
    "saved_pct": 57
  },
  {
    "label": "Turn 20",
    "saved_pct": 63
  }
]

工作階段持續執行時,端到端節省量會增加,因為歷史內容會累積,而歷史內容正是壓縮的對象。專案報告指出,單一回合可節省約 25%,到第 5 回合為 39%,到第 20 回合為 63%。實際測量僅涵蓋第 1 至第 5 回合;README 將後續列標示為推估值。README 也說明了增長停止的位置:在 200,000 token 預算下,每回合的內容節省量會在約 48,000 token 趨於平穩,大約發生在第 8 至第 12 回合之間,因為內容填滿後,歷史不再增加。獨立的 tool-filter 節省量每回合約增加 21,000 token,使推估的合併平台值約為每回合 69,000 token。廣泛引用的「超過 85%」數據,指的是內容已填滿的工作階段。這是最佳情況;同一份 README 也表示,在預設設定下,節省量會逐漸趨近約 72% 的上限,因此不要以此作為規劃依據。

24GB GPU 是否能讓 Paritok 回本?

GPU 並非必要,且模型可在小於 24GB 的顯示卡上執行。以租用成本為例,假設 24GB 顯示卡每小時 $0.44。整月持續執行為 730 小時,因此費用是 $321。若只在工作時間執行,每天 8 小時、每月 22 天,則為 176 小時,費用是 $77。

接著,將 token 減少量換算成金額減少量。這項減少只套用於輸入 token。輸出 token 會原封不動通過 proxy,因此 proxy 不會壓縮輸出 token。請依照供應商的費率,分別計算新輸入、cache writes 與 cache reads 的費用變化,再比較前後的 API 總成本。即使輸入占總金額的 80%,將 token 減少量乘以 0.8 也無法證明帳單會節省同等比例。

圖表Monthly API saving needed to cover an illustrative $0.44/hour card
此圖表背後的資料
[
  {
    "label": "Always on (730 hours)",
    "required_api_saving_usd": 321.2
  },
  {
    "label": "Workday only (176 hours)",
    "required_api_saving_usd": 77.44
  }
]

當你實際量測到的每月 API 節省金額超過 $321.2 時,持續執行的顯示卡即可回本;如果在非工作時間停止 instance,門檻則為 $77.44。僅有 85% 的 token 減少量,無法證明帳單會減少 68%,因此也無法據此建立每月 agent 支出的門檻。請以租用成本除以實際量測的帳單節省比例,計算該門檻。

有兩點會讓實際結果優於圖表所示。模型不需要 24GB:q4 build 約為 2.5GB,f16 build 約為 8GB。因此,改用較小的顯示卡,或使用你原本就為其他用途執行的 GPU box,都能降低圖表中的每個數字。另一個關鍵是,在沒有人撰寫程式時停止 instance,因為這會讓租用成本減少約四分之三。

有一點會讓實際結果變差。壓縮程序確實需要運算資源。4B model 壓縮的每個 token 都必須先讀取,而保留下來的每個 span 都必須重新寫出,這會增加每次 agent 互動的延遲。若按小時租用顯示卡,這項成本會表現為等待時間,而不是發票上的一行費用,因此很容易被忽略,直到你實際感受到延遲。

如果你是在一般情況下比較租用 GPU 時數與 API token,GPU VPS 與 API token 的回本點會使用相同的計算方式,評估 inference 本身。

在 VPS 上執行 Paritok gateway

PyPI 的套件中繼資料接受 Python 3.10 或更新版本,但 README 徽章標示為 3.11+。Ubuntu 24.04 內建 Python 3.12,因此一般的 VPS 映像檔即可執行 CPU 工具篩選器。

sudo apt update && sudo apt install -y python3-venv curl
python3 -m venv /opt/paritok/venv
source /opt/paritok/venv/bin/activate
pip install "paritok[proxy]==1.3.14"
pip install "paritok[toolselect]==1.3.14"

固定版本。PyPI 將 v1.3.0 的日期標為 5 August 2026,將 v1.3.14 的日期標為 6 October 2026。專案若以這種速度變更,版本之間可能會重新命名項目:v1.3.0 本身就在 API 中將 expand_context 重新命名為 read_original。直接使用 pip install paritok,或使用 main 的 git clone,下週就可能取得不同的 gateway,也無法追溯產生測量數值的版本。

預設後端是 Ollama。先拉取模型,再為模型指定 proxy 尋找的簡短名稱。

ollama pull paritok/paritok-4b-v1
ollama cp paritok/paritok-4b-v1 paritok-4b-v1

由於本機模型會輸出每個壓縮區段所保留的 spans,執行時間過長的壓縮程序會表現為 agent 回合停滯,而 Ollama 對輸出長度的 num_predict 上限可用來限制這個問題。

在旁邊寫入 paritok.yaml。use_gpu_server: false 可確保壓縮在自己的硬體上執行。

use_gpu_server: false
local_model:
  base_url: http://localhost:11434/v1
paritok proxy --port 8080 --config-file paritok.yaml

paritok up 是在模型不存在時拉取模型,並在 port 8080 啟動 proxy 的快捷方式;但必須先安裝 Ollama。將 agent 指向 proxy 前,先檢查 proxy。

curl http://127.0.0.1:8080/health
curl http://127.0.0.1:8080/stats

/health 會傳回包含 "status":"ok" 與版本字串的小型 JSON 物件。/stats 會傳回壓縮總量,以及 proxy 自行估算的節省量。這項估算值只是 proxy 對自身工作的評分,請再與 provider 的使用量頁面核對。

若重視吞吐量而非便利性,可使用 vLLM 在 base model 上提供 adapter。

vllm serve Qwen/Qwen3-4B-Instruct-2507 \
  --enable-lora \
  --lora-modules paritok-4b-v1=paritok/paritok-4b-v1 \
  --max-lora-rank 32 \
  --port 8000

--max-lora-rank 32 flag 位於專案自身的 command 中,因為 adapter 的 rank 是 32。接著在 paritok.yaml 中將 local_model.base_url 設為 http://localhost:8000/v1,讓 proxy 與 vLLM 通訊,而不是與 Ollama 通訊。

Ollama 較快即可完成部署。vLLM 處理並行請求的能力好得多;只要有多個 agent 共用這台機器,這項差異就會開始影響結果。Ollama 與 vLLM 的實際差異將決定應選用哪一個。

使用 base URL 環境變數,讓 agent 連線至 proxy。

export ANTHROPIC_BASE_URL=http://127.0.0.1:8080
export OPENAI_BASE_URL=http://127.0.0.1:8080

Codex CLI 會忽略 OPENAI_BASE_URL,因此在 paritok.yaml 中設定 codex.enabled: true 時,paritok up 會替你寫入 ~/.codex/config.toml。單獨匯出該變數會讓 Codex 直接與 provider 通訊;其徵兆是 /stats counter 在工作期間始終不變。

讓 listener 綁定 127.0.0.1,不要綁定 0.0.0.0。proxy 會將每個請求附帶的憑證轉送至上游,而未經驗證的 /stats endpoint 會公開原始內容與壓縮內容的樣本。因此,面向網際網路的 listener 會暴露私人 context 與本機壓縮資源。請透過 SSH tunnel 或 VPN 從筆記型電腦連線,不要開放該 port。

使用 systemd 執行服務,讓它在重新開機後仍能運作。請依照實際安裝位置調整路徑。建立 unit 執行時使用的 paritok user,並將安裝目錄授予該 user:

sudo useradd --system --home-dir /opt/paritok --shell /usr/sbin/nologin paritok
sudo chown -R paritok:paritok /opt/paritok
[Unit]
Description=Paritok compression proxy
After=network-online.target

[Service]
User=paritok
WorkingDirectory=/opt/paritok
ExecStart=/opt/paritok/venv/bin/paritok proxy --port 8080 --config-file /opt/paritok/paritok.yaml
Restart=on-failure

[Install]
WantedBy=multi-user.target

使用 sudo systemctl enable --now paritok 啟用服務,然後再次執行 curl /health。若 unit 啟動後立即結束,通常表示設定檔路徑錯誤,而 journalctl -u paritok -n 50 會列出原因。

託管選項,以及它的成本

此專案也提供壓縮服務。使用 paritok.com 提供的 API key 設定 use_gpu_server: true 後,4B model 會在其硬體上執行。截至 2 November 2026,每壓縮一百萬個檔案 token,系統會從預付額度收取 $0.30;tool-schema filtering 免費。新帳戶可獲得 $5 免費額度,不需要信用卡。託管服務免費的推出期間已於 1 October 2026 結束,因此目前為付費服務。這可免除代管壓縮模型的工作,但 gateway 仍由你執行。

這也表示,在送達你的 model provider 之前,你的 prompts 與 agent 讀取的檔案會先離開你的機器並傳送給第三方。採用 self-hosting 的目的,正是避免這個中繼環節。在設定該 flag 前,先決定你要優先考量哪一項,因為 flag 只需修改一行,但後果並非如此。

如何衡量自己的前後差異

已發布的數字是該專案使用自身測試框架,在 SWE-bench Lite 上取得的結果。你的 repository 不是 SWE-bench Lite。請自行測量。

  • 先在沒有 proxy 的情況下正常執行一週。從 provider 的用量頁面分別記錄新的 input、cache-write、cache-read 與 output tokens,各自列成獨立項目,不要只記錄一個美元總額。
  • 下一週在前方加入 proxy,執行同類型的工作,並採用相同的記錄方式。
  • 依照實際價格比較各類 input,並納入 output 成本的任何變化。proxy 不會壓縮 output,但 agent 行為與回合數的變化仍會影響你購買的 output 數量。
  • 計算必須重做的工作數量。這是這項取捨中的品質面,而且任何 dashboard 都不會回報這項數據。
  • 比較總額前,先將第二週的 GPU hours 加入成本。

將 input 與 output 分開計算很重要,因為兩者價格差異很大,而 compressor 只會處理其中一者。截至 2 November 2026,Claude Sonnet 4.6 的費用為每百萬個 input tokens $3、每百萬個 output tokens $15;prompt-cache read 則是 input rate 的 10%,即每百萬個 $0.30。較新的 Claude Sonnet 5.5 費用為 $2 與 $10,而其 cache reads 是 input rate 的 5%,即每百萬個 $0.10。input 與 output token 成本的差距決定 input-side compressor 對你是否具有實際效益。Claude Code 的 tokens 實際用在哪裡則能協助你判斷 context 的哪個部分大到值得壓縮。

Prompt caching 尤其會使 tool-filter 的成本計算變得複雜。tool block 位於 request 前端,因此在第一回合之後通常會命中 cache;在 Sonnet 4.6 上,這相當於 input price 的 10%。從 cached block 中刪除 21,000 tokens 時,每回合以每百萬個 $0.30 計算,只能節省約 $0.006,而不是未快取價格所顯示的 $0.063。該專案會在整個 session 中固定 filtered block,讓 cached prefix 維持不變。如果每回合重新選取 tools,便會使該 prefix 失效,成本可能高於節省的金額。

仍未驗證的部分

以上所有效能數據都來自專案本身。雖然已有獨立的合成語料壓縮測試,但該測試明確不會驗證 SWE-bench 任務是否成功;專案公布的 SWE-bench Lite 解題品質數據仍未經獨立確認。Gateway 於 2026 年 7 月開放原始碼,因此這份程式碼背後也幾乎沒有實際運作紀錄。壓縮率與保留品質數據,都是由能從較佳結果中受益的一方測量。這不代表數據錯誤,但代表它們尚未獲得確認。你應該以不同於自行產生數據的方式看待這些數字。

在將問題歸咎於自己的設定前,有一項已記錄的行為值得了解。工具篩選器使用的 embedding model 會在第一個請求時載入,而不是在啟動時載入。因此,專案文件指出初次暖機需要 10 到 15 秒,之後每次呼叫約需 15 ms。Proxy 啟動後先送出一個無關緊要的請求,第一次實際的 agent 回合就不會看起來像是卡住。

你可以在一個下午自行確認 4 件事:Proxy 是否能啟動並持續運作、工作期間 /stats 是否會變動、供應商顯示的 input-token 項目是否確實下降,以及 agent 是否仍能完成工作。對你的環境而言,這些結果比任何已公布的基準測試更具決定性。

至於它與其他工具的關係:自架的 LiteLLM gateway 會路由並統計請求,但不會修改請求內容。因此,兩者解決的是不同問題,也可以串接使用,讓 Paritok 位於最接近 agent 的位置。如果真正目標是降低帳單,而不是使用這項特定工具,VPS 上 agent 的各項成本控制方法還包括多項可以先免費嘗試的調整。

FAQ

Paritok 會降低我的 API 費用,還是只減少 context 使用量?

它會在請求送達 provider 前先縮減內容;實際節省的費用取決於刪除的 token 價格,以及 agent 因此產生的回合數。縮減幅度小於標題所暗示的數字。74% 是針對被壓縮內容計算的壓縮率。從端到端來看,專案報告單一回合約可節省 25% 的 input token,並預估到第 20 回合可節省 63%。Output token 會原樣通過,但實際產生量仍取決於 agent 的行為。

自行代管壓縮模型需要多少 GPU?

GPU 並非必要:Ollama 也能使用 CPU 執行模型。q4 build 約為 2.5 GB,f16 build 約為 8 GB,因此模型可放入 24 GB 顯示卡,且仍有大量剩餘空間。較小的顯示卡也能運作,並會讓損益平衡計算更有利。工具 schema filter 完全不需要 GPU:它使用 BAAI/bge-small-en-v1.5,這是可在 CPU 上執行的 130 MB embedding model。在一般 VPS 上安裝 paritok[toolselect],只需少量 RAM 的成本,就能取得 tool-block reduction。

如果 compressor 移除了 agent 需要的內容,會發生什麼事?

內容不會永久遺失。模型會從要轉送的內容中刪除部分文字,但壓縮區段會帶有 [REF:id] 標籤,模型可使用 read_original 或 expand_context 還原完整文字。預設的 tool filter 會捨棄未選取的標準工具;對未選取的 MCP 工具,除非 MCP relevance signal 觸發,否則也會捨棄,觸發時則會為這些 MCP 工具建立 stub。工具復原會使用 gateway_search_tools,並偵測 missing-tool 訊息。真正的風險不像檔案遺失那麼明顯:模型根據有損的摘錄工作,卻始終沒有意識到應要求原始內容。SWE-bench Lite 上 86.5% 的 quality-retained 數據,測量的是在停用 recall 並啟用 production edit recovery 時,對壓縮原始程式碼的單次理解能力;它不會測量 CPU tool-schema filter,也不涵蓋完整的 multi-turn gateway。

為什麼我的第一個請求需要 15 秒?

tool filter 背後的 embedding model 會在第一個請求時載入,而不是在啟動時載入。專案文件指出,預熱需要 10 到 15 秒,之後每次呼叫約需 15 ms。啟動 proxy 後,使用 curl 傳送一個不具實際用途的請求,第一個真正的 agent 回合就不會停頓。

我應該使用代管的 GPU server,而不是自行代管嗎?

這可免除代管 compression model 與支付 GPU 租用費用,但 gateway 仍由你維護。截至 2 November 2026,費用為每壓縮 1 million 個 file token 收取 $0.30,從預付額度中扣除;新帳戶可獲得 $5 免費額度。免費推出期間已於 1 October 2026 結束。它也會在 prompt 和 agent 讀取的檔案送達 model provider 前,先將這些內容傳送給第三方。如果你選擇自行代管,是為了讓程式碼留在自己控制的基礎架構上,這項設定就會抵消你最初採用自行代管的理由。自行代管可讓壓縮工作留在自己的主機上;壓縮後的請求與 provider credentials 仍會上傳至 model provider。

這篇文章對您有幫助嗎?