Paritok能让代码代理账单便宜多少?
Paritok位于代码代理与模型API之间,压缩文件读取、工具输出和上下文。项目声称可减少74%令牌,本文解释压缩机制、恢复方式及盈亏平衡计算。
Paritok 对请求的处理方式
Paritok 是一个令牌网关:它位于代码代理与模型 API 之间,在转发每个请求前对其进行压缩。代码代理连接的是 http://127.0.0.1:8080,而不是模型提供商。代理会缩减工具架构、文件读取内容、工具输出和较早的对话轮次,向上游发送更小的负载,然后原样返回响应。
模型提供商按到达其服务的内容向您计费,但账单取决于删除了哪些令牌、这些令牌的缓存定价,以及代理执行了多少个轮次。这就是它的全部原理。它与“上下文可以持续更长时间”是不同的说法,也是这个工具有意义的原因,而不只是让内容更整洁。
该项目还很新。该网关于 15 July 2026 开源;PyPI 将 v1.3.14 标记为 6 October 2026 发布,将 v1.3.0 标记为 5 August 发布。权重和网关代码采用 Apache 2.0 许可证。压缩模型是基于 Qwen3-4B-Instruct-2507 的 LoRA(低秩适配)适配器,从真实代码代理轨迹中提取的 45,000 个片段组成的数据池进行蒸馏;其中 40,606 个片段通过了教师验证,并成为训练样本。
为何这不是上下文裁剪
裁剪会永久删除内容。当代理接近上下文上限并丢弃最早的对话轮次时,它在第 3 轮读取的文件就不再保留。如果第 20 轮还需要该文件,它必须重新读取,因此这些 token 会再次产生费用。之前的节省只是暂时借用。
Paritok 会将一个片段替换为更短的形式和一个标签 [REF:id],并在代理服务器上保留完整文本。模型可通过调用 read_original 或 expand_context 恢复片段。这会改变故障模式。裁剪失败时会遗忘内容,而且不会通知您。压缩失败时会向模型提供有损摘录;如果摘录不足,模型可以请求原文。
经过过滤的工具 schema 仍可恢复,但默认的自适应过滤器会丢弃未选中的标准工具,也会丢弃未选中的 MCP 工具,除非 MCP 相关性信号触发。信号触发后,未选中的 MCP 工具会被替换为存根。gateway_search_tools 支持恢复;网关还会检测缺少工具的消息,并在重试前注入匹配的工具。这一点很重要,因为永久隐藏某个工具的过滤器会改变代理能够执行的操作,而您只有在某个任务悄然出错时才会发现这一点。
三个调节项,以及其中免费的一个
第一个调节项是工具架构过滤器。每个请求都会携带完整的 tools 数组。在未连接 MCP(模型上下文协议)服务器的 Claude Code 会话中,项目测得该数据块约为 29,000 个 token;连接 MCP 后,报告的大小为 44,000 到 65,000 个 token。过滤器使用 BAAI/bge-small-en-v1.5(一种 130 MB 的嵌入模型)嵌入用户请求和每个工具描述,保留匹配的工具,删除未选中的标准工具;只有在 MCP 相关性信号触发时,才会为未选中的 MCP 工具生成桩。否则,这些 MCP 工具也会被删除。在项目给出的 29,000 token 示例中,该数据块会缩减到约 8,000 个 token。该嵌入模型运行在 CPU 上。
第二个调节项是内容压缩,这部分使用 4B 模型,可运行在 GPU 上,也可通过 Ollama 运行在 CPU 上。文件读取结果、工具输出和历史记录会缩减到原始大小的 25.7%。该模型主要选择文本片段,而不是重写内容;对于推理摘要和工具调用框架等内容,允许进行有限重写。项目论文在教师生成的训练语料中测得,输出的标识符、路径和数字有 96.0% 与输入逐字一致;训练模型在留出的 SWE-bench Lite 输出上,通过相同审计得到 96.2% 的得分。74% 这一 headline 就来自这里。请仔细理解:74% 是经过压缩的内容的压缩比例,不是账单减少的比例。
第三个调节项是历史记录摘要。默认情况下,当上下文超过配置窗口的 80% 时,较早的会话轮次会被摘要,同时保留最近的 4 个轮次不变。这样长会话可以继续运行,而不会触及限制。
自行托管时不要求使用 GPU。这是本页最有用的一句话。pip install "paritok[toolselect]" 可让您在普通 CPU VPS 上使用工具过滤器,且无需按 token 付费。请先试用它,再考虑租用 GPU 实例。
项目测量了什么,以及使用谁的测试框架
此图表背后的数据
[
{
"label": "Paritok-4B-v1",
"compressed_to_pct": 25.7,
"quality_retained_pct": 86.5
},
{
"label": "gpt-4.1-mini",
"compressed_to_pct": 50.2,
"quality_retained_pct": 85.6
},
{
"label": "gpt-5",
"compressed_to_pct": 61.9,
"quality_retained_pct": 93.6
}
]以下数据由项目自行发布,使用项目自己的测试框架,针对 SWE-bench Lite 测得。Paritok-4B-v1 将内容压缩至原始大小的 25.7%,同时保留未压缩解决率的 86.5%。使用 gpt-5 作为压缩器时,保留的质量更高,为 93.6%,但只能压缩至 61.9%;也就是说,为了节省前沿模型的费用,您需要先支付前沿模型的费用。
请如实解读质量列。“保留质量”是压缩器解决率除以未压缩基线解决率。保留 86.5% 意味着相对于该基线,解决的问题净减少 13.5%;它不表示基线已解决问题中有多少未能再次解决,因为压缩运行也可能解决不同的问题。该数据测量的是对压缩后原始源代码的单次理解能力,禁用 recall,并启用生产环境编辑恢复;它不测量 CPU 工具 schema 过滤器,也不测量完整的多轮网关。
此图表背后的数据
[
{
"label": "Turn 1",
"saved_pct": 25
},
{
"label": "Turn 5",
"saved_pct": 39
},
{
"label": "Turn 12",
"saved_pct": 57
},
{
"label": "Turn 20",
"saved_pct": 63
}
]端到端节省量会随着会话运行而增加,因为历史记录会不断累积,而被压缩的正是历史记录。项目报告称,单轮节省约为 25%,第 5 轮达到 39%,第 20 轮达到 63%。项目只测量了第 1 至第 5 轮,并将 README 中后续行标记为预测值。README 还说明了增长停止的位置:在 200,000 token 预算下,每轮内容节省量会在约 48,000 token 处趋于平稳,大约发生在第 8 至第 12 轮之间,因为上下文填满后,历史记录不再增长。单独的工具过滤节省量每轮约增加 21,000 token,因此预计合并后的平台值约为每轮 69,000 token。广泛引用的“超过 85%”描述的是上下文已饱和的会话。这是最佳情况;同一份 README 还表示,在默认设置下,节省量会趋向约 72% 的上限,因此不要据此制定计划。
24GB GPU 能否收回 Paritok 的成本?
GPU 不是必需的,该模型可以运行在小于 24GB 的显卡上。以租用一张 24GB 显卡为例,假设价格为每小时 $0.44。整月运行按 730 小时计算,费用为 $321。仅在工作时间运行,每天 8 小时、每月 22 天,共 176 小时,费用为 $77。
现在将 token 减少量换算为费用减少量。减少量只适用于输入 token。输出 token 原样通过代理,因此代理不会压缩输出 token。按照您的服务提供商分别针对新输入、缓存写入和缓存读取的费率计算变化后的费用,然后比较 API 总成本的变化。即使输入费用占总费用的 80%,也不能将 token 减少量乘以 0.8,就据此确定账单节省额。
此图表背后的数据
[
{
"label": "Always on (730 hours)",
"required_api_saving_usd": 321.2
},
{
"label": "Workday only (176 hours)",
"required_api_saving_usd": 77.44
}
]当您测得的每月 API 节省额超过 $321.2 时,持续运行的显卡即可收回成本;如果在工作时间之外停止实例,则所需节省额为 $77.44。仅有 85% 的 token 减少量,并不能证明账单会减少 68%,因此也不能据此确定每月 agent 支出阈值。将租用成本除以您测得的账单节省比例,即可得到该阈值。
有两点会使实际情况优于图表所示。该模型不需要 24GB:q4 构建约占 2.5GB,f16 构建约占 8GB。因此,使用更小的显卡,或使用已经为其他任务运行的 GPU 主机,可以降低图表中的每项费用。并且,在无人编写代码时停止实例是这里最有效的措施,因为这样可将租用费用减少约四分之三。
有一点会使实际情况变差。压缩过程本身需要计算资源。4B 模型压缩的每个 token 都必须先读取,而保留的每个文本片段都必须重新写出,这会增加每次 agent 交互的延迟。对于按小时租用的显卡,这项成本表现为等待时间,而不是发票上的单独费用,因此在实际感受到延迟之前很容易忽略它。
如果您要比较租用 GPU 小时数与 API token 的总体成本,GPU VPS 与 API token 的盈亏平衡点会使用相同的方法计算推理本身的成本。
在 VPS 上运行 Paritok 网关
PyPI 上的软件包元数据接受 Python 3.10 或更高版本,但 README 徽章写的是 3.11+。Ubuntu 24.04 自带 Python 3.12,因此普通 VPS 镜像就足以运行 CPU 工具过滤器。
sudo apt update && sudo apt install -y python3-venv curl
python3 -m venv /opt/paritok/venv
source /opt/paritok/venv/bin/activate
pip install "paritok[proxy]==1.3.14"
pip install "paritok[toolselect]==1.3.14"固定版本。PyPI 将 v1.3.0 标注为 2026 年 8 月 5 日发布,将 v1.3.14 标注为 2026 年 10 月 6 日发布。项目以这种速度变化时,不同版本之间会重命名内容:v1.3.0 本身就在 API 中将 expand_context 重命名为 read_original。直接使用 pip install paritok,或使用 main 的 git clone,下周就可能得到不同的网关,也无法记录究竟是哪一个网关生成了你测量的数据。
默认后端是 Ollama。先拉取模型,再为它设置代理查找的短名称。
ollama pull paritok/paritok-4b-v1
ollama cp paritok/paritok-4b-v1 paritok-4b-v1由于本地模型会输出它为每个压缩片段保留的跨度,运行时间过长的压缩过程会表现为代理回合停滞,而 Ollama 对输出长度的 num_predict 上限 是限制其长度的参数。
在旁边写入 paritok.yaml。use_gpu_server: false 可确保压缩在你自己的硬件上执行。
use_gpu_server: false
local_model:
base_url: http://localhost:11434/v1paritok proxy --port 8080 --config-file paritok.yamlparitok up 可在模型缺失时拉取模型,并在端口 8080 上启动代理;Ollama 必须已经安装。将代理提供给代理程序使用前,先检查代理是否正常。
curl http://127.0.0.1:8080/health
curl http://127.0.0.1:8080/stats/health 返回一个包含 "status":"ok" 和版本字符串的小型 JSON 对象。/stats 返回压缩总量,以及代理自行估算的节省量。应将该估算视为代理对自身工作的评价,并通过提供商的用量页面进行确认。
如果更关注吞吐量而不是部署便利性,可以使用 vLLM 在基础模型上提供适配器。
vllm serve Qwen/Qwen3-4B-Instruct-2507 \
--enable-lora \
--lora-modules paritok-4b-v1=paritok/paritok-4b-v1 \
--max-lora-rank 32 \
--port 8000--max-lora-rank 32 参数位于项目自己的命令中,因为适配器的秩为 32。然后在 paritok.yaml 中将 local_model.base_url 设置为 http://localhost:8000/v1,这样代理就会连接 vLLM,而不是 Ollama。
Ollama 更容易快速部署。vLLM 处理并发请求的能力要强得多;只要多于一个代理程序共享这台服务器,这一点就会开始变得重要。Ollama 与 vLLM 的实际差异 将帮助你做出选择。
通过基础 URL 环境变量让代理程序连接代理。
export ANTHROPIC_BASE_URL=http://127.0.0.1:8080
export OPENAI_BASE_URL=http://127.0.0.1:8080Codex CLI 会忽略 OPENAI_BASE_URL,因此当 codex.enabled: true 在 paritok.yaml 中设置后,paritok up 会为你写入 ~/.codex/config.toml。只导出该变量会使 Codex 直接连接提供商,其表现是你工作期间 /stats 计数器始终不变。
让监听器只绑定到 127.0.0.1,绝不要绑定到 0.0.0.0。代理会将每个请求携带的凭据转发到上游,而其未认证的 /stats 端点会暴露原始内容和压缩内容的样本。因此,面向互联网的监听器会暴露私密上下文和本地压缩资源。应通过 SSH 隧道或 VPN 从笔记本电脑访问它,而不是开放该端口。
通过 systemd 运行它,使其在重启后仍能运行。根据你的安装位置调整路径。创建该单元运行所使用的 paritok 用户,并向其授予安装目录的访问权限:
sudo useradd --system --home-dir /opt/paritok --shell /usr/sbin/nologin paritok
sudo chown -R paritok:paritok /opt/paritok[Unit]
Description=Paritok compression proxy
After=network-online.target
[Service]
User=paritok
WorkingDirectory=/opt/paritok
ExecStart=/opt/paritok/venv/bin/paritok proxy --port 8080 --config-file /opt/paritok/paritok.yaml
Restart=on-failure
[Install]
WantedBy=multi-user.target使用 sudo systemctl enable --now paritok 启用它,然后再次执行 curl /health。启动后立即退出的单元通常表示配置文件路径错误,而 journalctl -u paritok -n 50 会输出具体原因。
托管选项及其成本
该项目还提供压缩即服务。使用 paritok.com 提供的 API 密钥设置 use_gpu_server: true 后,4B 模型将在其硬件上运行。截至 2 November 2026,服务按其压缩的文件 token 数量计费,每百万个文件 token 收取 $0.30,费用从预付余额中扣除;工具 schema 过滤免费。新账户可获得 $5 的免费额度,无需绑定银行卡。托管服务的免费上线阶段已于 1 October 2026 结束,因此现在属于付费服务。这样可以省去托管压缩模型的工作,但网关仍由您运行。
这也意味着,在发送到模型提供商之前,您的提示词和代理读取的文件会先离开您的计算机并到达第三方。自托管的目的正是避免这一跳。在设置该标志前,请先决定要优先优化哪一项,因为修改该标志只需一行,但其影响并不简单。
如何测量您自己的前后差异
已发布的数字是项目在 SWE-bench Lite 上使用项目测试框架得出的结果。您的代码库不是 SWE-bench Lite。请测量您自己的结果。
- 先运行一周常规工作流,不在请求路径中使用代理。打开服务提供商的用量页面,将新输入、缓存写入、缓存读取和输出 token 分别记录在单独的行中,不要只记录一个美元总额。
- 下一周在前端加入代理,执行同类型的工作。
- 按实际价格比较各类输入成本,并计入输出成本的任何变化。代理不会压缩输出,但代理行为和交互轮数的变化仍会影响您购买的输出量。
- 统计必须重做的任务数量。这是这笔交易的质量部分,任何仪表板都不会报告它。
- 比较总额前,将第 2 周的 GPU 使用小时数计入成本。
将输入与输出分开统计很重要,因为两者的价格差异很大,而压缩器只会影响其中一项。截至 2 November 2026,Claude Sonnet 4.6 的输入价格为每百万 input tokens $3,输出价格为每百万 output tokens $15;prompt-cache read 的价格是输入价格的 10%,即每百万 $0.30。较新的 Claude Sonnet 5.5 的价格分别为 $2 和 $10,cache read 的价格是输入价格的 5%,即每百万 $0.10。输入与输出 token 成本之间的差距决定了输入侧压缩器对您是否有价值。Claude Code 的 token 实际消耗在哪里可以帮助您判断上下文的哪一部分足够大,值得进行压缩。
Prompt caching 尤其会使工具过滤的成本计算变复杂。工具块位于请求开头,因此第 1 轮之后通常会命中缓存;在 Sonnet 4.6 上,其成本是输入价格的 10%。从缓存块中删除 21,000 个 token 时,每轮按每百万 $0.30 计算可节省约 $0.006,而不是未缓存价格所显示的 $0.063。项目会在整个会话中保持过滤后的块不变,因此缓存前缀不会变化。如果过滤器每轮重新选择工具,就会使此前缀失效,成本可能超过节省的金额。
仍未得到验证的内容
上文的所有性能数据都来自项目本身。虽然已有针对合成语料的独立压缩测试,但该测试明确不检验 SWE-bench 任务是否成功;项目公布的 SWE-bench Lite 解题质量数据仍未得到独立确认。网关于 2026 年 7 月开源,因此这段代码背后的实际运行历史也非常有限。压缩率和保留质量数据都由从中受益的一方测量。它们不一定是错误的,但仍未得到确认。您应区别对待这些数据,不要把它们与您自行测得的数据等量齐观。
在将问题归咎于自身配置前,还应了解一个已记录的行为。工具过滤器使用的嵌入模型会在首次请求时加载,而不是在启动时加载。因此,项目文档建议预热时间为 10 到 15 秒,之后每次调用约需 15 ms。代理启动后发送一个无实际用途的请求,第一次真正的代理交互就不会看起来像是卡住了。
您可以在一个下午自行确认以下 4 件事:代理是否能启动并持续运行,工作期间 /stats 是否发生变化,服务提供商显示的输入 token 数是否确实下降,以及代理是否仍能完成任务。对于您的环境,这些结果比任何已发布的基准数据都更有参考价值。
关于它与其他工具的关系:自托管的 LiteLLM 网关可以在不修改请求内容的情况下路由请求并统计用量,因此两者解决的是不同问题,也可以串联使用,其中 Paritok 更靠近代理。如果您的实际目标是降低费用,而不是使用这个特定工具,那么VPS 上运行代理时可采用的更多成本控制措施还包括多项可以先免费尝试的改动。
FAQ
Paritok 会降低我的 API 账单,还是只减少上下文用量?
它会在请求到达提供商之前先缩减请求;账单节省额取决于删除的 token 价格,以及 agent 因此产生的轮次数。实际减少量小于标题所暗示的数值。74% 是被压缩内容的压缩率。端到端来看,项目报告称,单轮输入 token 可节省约 25%,到第 20 轮时预计可节省 63%。输出 token 不受影响,但生成量仍取决于 agent 的行为。
自托管压缩模型需要多少 GPU?
GPU 不是必需的:Ollama 也可以使用 CPU 运行模型。q4 构建约占 2.5 GB,f16 构建约占 8 GB,因此模型可以放入 24 GB 显卡,并且仍有充足余量。使用更小的显卡也可以,而且有利于降低盈亏平衡成本。工具 schema 过滤器完全不需要 GPU:它使用 BAAI/bge-small-en-v1.5,这是一个 130 MB、可在 CPU 上运行的 embedding 模型。在普通 VPS 上安装 paritok[toolselect],只需少量 RAM 即可获得工具块缩减功能。
如果压缩器删除了 agent 需要的内容,会发生什么?
内容不会永久丢失。模型会从转发内容中删除部分文本,但压缩片段会携带 [REF:id] 标签,模型可以使用 read_original 或 expand_context 恢复完整文本。默认工具过滤器会删除未选中的标准工具;对于未选中的 MCP 工具,除非 MCP 相关性信号被触发,否则也会删除。信号被触发时,过滤器会为这些 MCP 工具生成存根。工具恢复使用 gateway_search_tools,并检测缺少工具的消息。真正的风险比文件缺失更隐蔽:模型基于有损摘录工作,却没有意识到应请求原始内容。SWE-bench Lite 上保留 86.5% 质量的指标,衡量的是在禁用召回、启用生产编辑恢复时,对压缩原始源代码的一次性理解能力;它不衡量 CPU 工具 schema 过滤器,也不衡量完整的多轮网关。
为什么我的第一个请求需要 15 秒?
工具过滤器使用的 embedding 模型会在第一个请求时加载,而不是在启动时加载。项目文档记录的预热时间为 10 到 15 秒,之后每次调用约需 15 ms。在启动代理后,使用 curl 发送一个无实际用途的请求,这样第一个真实的 agent 轮次就不会停顿。
我应该使用托管 GPU 服务器,而不是自托管吗?
它可以免去托管压缩模型和租用 GPU 的成本,但网关仍由您维护。截至 2 November 2026,压缩每百万个文件 token 的费用为 $0.30,从预付余额中扣除;新账户可获得 $5 的免费额度。免费启动期已于 1 October 2026 结束。该服务还会在请求到达您的模型提供商之前,将您的提示词和 agent 读取的文件发送给第三方。如果您选择自托管是为了将代码保留在自己控制的基础设施上,那么这种设置就违背了您开始自托管的原因。自托管会将压缩过程保留在您自己的服务器上;压缩后的请求和提供商凭据仍会发送到您的模型提供商。