本地LLM推理力度怎么设置,实际成本有多高
推理力度只改变模型的草稿令牌数,不改变权重或量化。了解聊天模板如何生效,以及为何本地硬件上的响应时间可能从2秒延长到2分钟。
本地 LLM 中推理力度会改变什么
推理力度是一项设置,用于指定模型在回答前思考的时长。它只会改变推理片段的长度,不会改变其他内容。各级别使用的磁盘权重完全相同,量化方式也相同,答案都来自同一次前向传播。变化的是模型首先用于自身草稿的 token 数量。
这一点很重要,因为这些 token 会产生不同的成本。在托管 API 中,推理 token 会计入账单。在您拥有的 VPS 上,它们会消耗本地 CPU 或 GPU 的生成时间,并占用上下文窗口空间。如果将模型保持在最高推理力度,它可能会在首个回答词出现前,将大部分输出用于推理。在自托管硬件上,这可能导致响应时间从 2 秒延长到 2 分钟。
级别在哪里生效:聊天模板,而不是模型权重
思考模型经过训练,会在最终答案前输出一段推理内容,通常用 <think> 和 </think> 标签包裹。思考强度是模型聊天模板写入提示词的指令。该模板是随模型发布的 Jinja 文件。它读取类似 reasoning_effort 的变量,并根据变量值渲染不同的系统级指令;模型经过训练后,会根据该指令缩短或延长其草稿推理过程。
由此可知两点。级别名称属于模型,而不是运行时环境,因此某个模型卡片中的名称对另一个模型可能没有任何意义。如果处理链中的任何环节将模型的聊天模板替换为通用模板,变量就不会被渲染,该设置也会静默失效。
截至 2026-10-12,Qwen3.8-27B 模型卡片记录了三个思考强度级别:low、medium 和 xhigh,默认值为 xhigh。没有 high。思考功能通过 enable_thinking 开关控制,默认开启;模型卡片还记录了默认开启的 preserve_thinking,用于保留对话历史中较早轮次的推理内容。gpt-oss 则使用 low、medium 和 high。许多其他模型系列只接受布尔值,不支持更多级别。请查看所下载确切版本的模型卡片,因为这些名称并非标准。首先参阅 在 VPS 上运行 27B 模型。本页介绍模型能够回答后需要设置什么。
为什么 VPS 上高强度推理的成本更高
输出 token。 推理过程生成的 token 也属于输出 token。它们与答案 token 使用相同的解码循环,并受硬件解码速度限制。假设任务生成了 200 个答案 token 和 4,000 个推理 token,那么实际生成了 4,200 个 token,但读者只能看到其中 200 个。解码速度取决于内存带宽、所选的量化方式和线程数:llama.cpp 自带的调优说明警告,--threads 高于物理核心数时,可能使 CPU 过度饱和,导致生成速度大幅下降。这些参数调整好后,剩下的主要影响因素就是 token 数量。
实际耗时。 用户等待的是答案的第一个 token,因为此前的内容只会表现为空白屏幕或收起的加载指示器。推理内容会先生成,因此等待时间大致等于推理 token 数量除以解码速度,再加上提示词处理时间。推理长度翻倍,等待时间也会翻倍。
上下文。 推理 token 与其他 token 一样占用上下文窗口。启用 preserve_thinking 后,第一轮的草稿内容在第五轮仍会保留在提示词中,因此随着上下文窗口从两端不断填充,每轮的提示词处理都会变慢。增大 num_ctx 以容纳这些内容会增加 KV cache 的内存占用;在没有 GPU 的 VPS 上,这部分内存使用的是系统 RAM,而系统 RAM 可能没有足够余量。
何时提高级别,何时保持较低级别
对于中间步骤出错会导致结果失真的任务,应提高级别:多步算术和单位换算、跨多个文件规划编辑、必须通过编译的代码,以及必须同时满足多个条件的约束问题。在这些任务中,思维草稿确实有助于完成工作。较长的思考过程可以用较低成本发现模型原本会直接提交的错误。
如果答案已经包含在输入中,任务只是搬运信息,则应保持较低级别。提取、分类、标记、翻译、改写、摘要和格式化都属于此类任务。推理过程大多只是在复述任务,还可能让模型推翻原本正确的第一判断。
对于交互式任务,也应保持较低级别。在聊天框或编辑器中,您可以参与处理过程,因此可快速纠正的答案优于需要等待的慢速答案。这正是让编码代理使用本地模型背后的权衡:代理会发起许多小型调用,而每次调用都会产生推理开销。
如何在 llama.cpp 中设置级别
llama.cpp 会直接将该变量写入模板,因此运行时可以确认级别已传入。将 -m 指向已有的 GGUF 文件。
llama-server -m ./qwen3.8-27b-Q4_K_M.gguf \
--jinja \
--reasoning-effort medium \
--reasoning-format deepseek \
-c 32768 \
--host 127.0.0.1 --port 8080--jinja 使用模型自身的聊天模板,当前版本默认启用。--reasoning-effort 接受 default、minimal、low、medium、high、xhigh 或 max;其中 default 表示保留模板自身的默认值。此列表属于 llama.cpp 的取值范围,而不是模型的取值范围,因此只能传入模型卡片列出的名称:如果模板未定义相应级别,请求运行时可能触发模板错误。--reasoning-format deepseek 会将推理内容从 message.content 移到 message.reasoning_content,因此下一节可以测量这两部分的差异。
如果要关闭思考,而不是缩短思考过程,请自行设置模板变量:
llama-server -m ./qwen3.8-27b-Q4_K_M.gguf --jinja \
--chat-template-kwargs '{"enable_thinking": false}'--reasoning-budget 是另一种机制。它会按 token 数限制推理片段:0 会立即结束推理,-1 则不设限制,而不是要求模型规划一个更短的推理过程。两个标志都会设置服务器默认值。截至 2026-10-12,llama-server 的 /v1/chat/completions 还会在请求正文中接受 reasoning_effort 和 chat_template_kwargs,将级别传递给模板,仅对当前请求生效;none 会关闭推理。因此,一个进程可以提供两种工作量级别。
vLLM 也支持在每个请求中设置同一变量,位置在 OpenAI 兼容的请求正文中:
{"model": "Qwen/Qwen3.8-27B",
"messages": [{"role": "user", "content": "Summarise this changelog in two lines."}],
"chat_template_kwargs": {"reasoning_effort": "medium"}}如何在 Ollama 中设置级别
Ollama 在 /api/chat 和 /api/generate 上使用自己的字段 think。该字段接受 true、false 或级别名称。截至 2026-10-12,对于发布思考元数据的模型,级别名称由模型自行定义:/api/show 会在 thinking.values 下列出这些名称,并在旁边标出默认级别;如果指定的名称不在模型的列表中,Ollama 会静默回退到该默认级别,不会报错。不含此元数据的模型使用 Ollama 旧版固定级别集合:low、medium、high 和 max。省略 think 后,模型会使用自身的默认设置;对于 Qwen3.8,默认设置为启用思考。
ollama run qwen3.8:27b --think=low "Draft a one line commit message for a README typo fix"{"model": "qwen3.8:27b",
"messages": [{"role": "user", "content": "Which HTTP status code means the request body was too large?"}],
"think": "low",
"stream": false}推理内容会返回在 message.thinking 中,答案会返回在 message.content 中,二者已为你分开。在交互式 ollama run 会话中,/set think 和 /set nothink 可在不重启的情况下切换该功能,/set think low 用于选择级别。
现在看一下该设置可能静默失败的情况。Qwen3.8 的模板定义了 low、medium 和 xhigh。Ollama 模型会在其 tag 内携带打包后的模板,而不是使用原始仓库中的 Jinja 文件;只有当该打包模型列出了某个级别时,Ollama 才会传递该级别。先检查你的 tag 声明了哪些级别:
curl -s http://localhost:11434/api/show -d '{"model": "qwen3.8:27b"}' | jq .thinking如果名称不在 values 中,例如对于此模型的 high 或 max,模型会改用默认级别运行。不要假设设置已经生效。测量这一点大约需要一分钟。
如何衡量该级别是否真正生效
在多个级别下发送相同的提示词,并将 temperature 设为 0,然后比较 token 数量。下面的3个名称来自 Qwen3.8 的模型卡;如果 /api/show 为你的标签列出了不同名称,请使用这些名称。这里由 jq 构建请求正文,因此无需手动转义引号。
for level in low medium xhigh; do
body=$(jq -n --arg lvl "$level" '{
model: "qwen3.8:27b",
messages: [{role: "user", content: "A pump fills a 4500 litre tank in 25 minutes. A second pump is 40 percent slower. How long do both together take? Answer in minutes."}],
think: $lvl,
stream: false,
options: {temperature: 0, num_ctx: 8192}
}')
echo "== $level"
curl -s http://localhost:11434/api/chat -d "$body" | jq '{
thinking_chars: (.message.thinking // "" | length),
answer_chars: (.message.content | length),
eval_count: .eval_count,
seconds: (.total_duration / 1e9),
tok_per_sec: (.eval_count / (.eval_duration / 1e9))
}'
doneeval_count 表示生成的所有 token,包括推理 token,因此两个级别之间的差距几乎全部来自推理。thinking_chars 会直接给出拆分结果。应满足以下两点:数值会随级别变化,并且在较低级别下答案仍然正确。如果 eval_count 在3次运行中都处于噪声范围内,说明该级别被忽略了。先根据 /api/show 检查名称,因为 Ollama 对未列出的名称使用默认级别;如果名称一致,修复方法是使用能够传递该级别的运行时。
总耗时只能说明一半问题,因此应通过流式传输进行测量,并在收到第一个非空 content 块时停止,以测量到第一个答案 token 的间隔。这需要使用 jq 和 bc。
start=$(date +%s.%N)
curl -sN http://localhost:11434/api/chat -d '{
"model": "qwen3.8:27b",
"messages": [{"role": "user", "content": "Explain what a reverse proxy does, in three sentences."}],
"think": "low",
"stream": true
}' |
while IFS= read -r line; do
if [ -n "$(printf '%s' "$line" | jq -r '.message.content // ""')" ]; then
echo "first answer token after $(echo "$(date +%s.%N) - $start" | bc)s"
break
fi
done在 low 下运行一次,再在 xhigh 下运行一次。两者的差值就是你为该级别付出的等待时间。在 llama.cpp 中,相同的数值会包含在响应中,无需使用 shell 进行算术运算:
curl -s http://localhost:8080/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{"model": "local", "temperature": 0,
"messages": [{"role": "user", "content": "A pump fills a 4500 litre tank in 25 minutes. A second pump is 40 percent slower. How long do both together take?"}]}' | jq '{
reasoning_chars: (.choices[0].message.reasoning_content // "" | length),
answer_chars: (.choices[0].message.content | length),
predicted_n: .timings.predicted_n,
tok_per_sec: .timings.predicted_per_second
}'请在自己的服务器上执行此测试。已发布的性能对比是在并非由你使用的硬件上测得的,而你的解码速率才是将 token 数量换算为秒数的参数。在自己的服务器上测量每秒 token 数 会提供该参数:推理 token 数除以你的解码速率,就是你新增的等待时间。
出现的问题
答案被截断,或 content 为空而 thinking 有内容。 生成上限被推理消耗。Ollama 的 num_predict 限制整个生成过程,包括推理;而推理优先执行。因此,在高强度级别下将上限设为 512 tokens,可能会在答案开始前结束响应。Ollama 会在该响应中报告 "done_reason": "length"。请提高上限或降低强度。num_predict 如何计算 tokens详细说明了两者的交互方式。
调整级别没有任何变化。 每个级别的 token 数量都相同。可能是运行时没有传递该变量,模板没有读取该变量,或者在 Ollama 中,该名称不在标签列出的名称内,因此回退到默认值。请检查运行时实际使用的模板,而不是原始仓库中的模板。llama.cpp 配合 --jinja 和 --chat-template-kwargs 会手动写入该变量,因此可用作对照:如果级别在这里生效、在其他位置不生效,则模型正常,是其他运行时丢弃了该变量。
级别名称被拒绝。 请求时出现模板错误,或服务器本身正常但第一条消息就失败,通常表示传入了模板未定义的级别。例如,模型卡片只列出 low、medium 和 xhigh,却传入了 high。在 Ollama 中,不包含思考元数据的模型只接受 low、medium、high 和 max;其他值都会返回 invalid think value 错误。
多轮聊天的每一轮都变慢。 历史记录中保留了旧的推理内容。如果模型支持,请将 preserve_thinking 设置为 false;或者从要回传的消息中删除 thinking 字段。否则,每轮的提示词处理量都会增长,而答案长度保持不变。
在原本认为简单的任务上降低强度后,质量下降。 有些提取任务并不只是提取。如果输入需要进行单位换算,或按顺序应用规则,那么它属于输出较短的推理任务。只提高该次调用的级别,不要提高整个服务器的级别。
同时运行两个级别
llama.cpp 在启动时通过 --reasoning-effort 设置默认级别,但当前版本也支持按请求使用 reasoning_effort,因此一个进程和一份权重即可同时服务于低级别的编辑器请求和高级别的夜间批处理任务。如果希望在启动时固定每个级别,也可以让两个进程分别监听两个端口;但如果不按时间错开任务,内存中就需要保存两份权重。无论采用哪种方式,这些任务都会共享同一台机器的解码能力。因此,在一台 VPS 上,更经济的安排通常是:用户正在等待的任务使用较低级别,再为无人实时查看的工作安排较高级别的定时运行。多个用户共享同一本地模型时会发生什么同样适用于此处:推理 token 也会占用解码资源,因此提高工作级别后,有效并发能力大致会按 token 数量增加的相同比例下降。
FAQ
默认应使用哪个推理强度级别?
从模型提供的最低级别开始。只有在观察到任务失败时,才提高级别。一些思考模型默认使用较高级别;截至 2026 年 10 月,Qwen3.8-27B 默认使用 xhigh,这是它的最高级别。这样设置是为了在基准测试表中表现良好,而基准测试表不会计算等待时间。在自己的硬件上,等待时间会直接增加,因此应按任务选择较高级别,而不是让每个请求都继承该设置。
推理 token 是否会占用上下文窗口?
会。推理 token 是输出中的普通 token,会与其他内容一起占用上下文窗口。下一轮是否保留这些 token,取决于运行时和模型。Qwen3.8 的模型卡记录了 preserve_thinking,该选项默认启用,会保留历史中的早期推理,因此长对话会携带模型生成的所有草稿。将其设为 false,或从重放的消息中删除 thinking 字段,即可停止持续增加提示处理量。
为什么修改思考级别后,token 数量没有变化?
该设置没有传递到聊天模板。级别是模板变量,只有运行时传递该变量,且打包的模板读取该变量时才会生效。一些运行时会随模型附带自己的模板,而不是使用原始仓库中的 Jinja 文件;此时变量会被丢弃,且任何地方都不会打印错误。Ollama 也可能运行模型未列出的级别名称,并将其作为模型默认值,同样不会报错。将 temperature 设为 0,在最低级别和最高级别下发送相同的提示,并比较 eval_count,即可验证这一点。如果两者的数量在噪声范围内一致,说明该级别被忽略了。
降低推理强度会降低模型的准确率吗?
这取决于任务,应通过测量确认,而不是直接假设。对于答案已经存在于输入中的任务,例如提取或改写,较短的草稿通常不会带来变化。对于必须先正确完成中间步骤才能得到最终答案的任务,例如多步算术或必须通过编译的代码,草稿变短后准确率确实会下降。从实际工作负载中整理二十个提示,在两个级别下运行,并将 temperature 设为 0,然后统计错误答案的数量。这个数量取决于你的工作负载,任何已发布的表格都无法替你确定它。