Ollama 并发配置:NUM_PARALLEL 与 MAX_QUEUE 解析
Ollama 并发请求如何排队?本文详解 OLLAMA_NUM_PARALLEL 与 MAX_QUEUE 的作用机制,分析为何增加并行槽位会导致内存溢出,并说明为何已加载模型不会触发 503 错误。
当第一个 Ollama 请求正在生成时,第二个请求会发生什么
Ollama 的并发性由三个环境变量决定。默认情况下,一个已加载的模型一次仅处理一个请求。第二个请求不会被拒绝,也不会收到部分答案。它会在队列中等待,直到有空闲槽位,随后以正常速度运行。
传入的请求有三种可能的结果。它可能立即在空闲槽位中启动;可能在队列中等待;或者如果队列已满,服务器会返回 HTTP 503 拒绝该请求。具体结果由 OLLAMA_NUM_PARALLEL、OLLAMA_MAX_QUEUE 和 OLLAMA_MAX_LOADED_MODELS 决定。截至 2026 年 10 月的版本,存在一个需要注意的问题:503 错误仅适用于模型尚需加载时到达的请求。对于已经加载的模型,Ollama 绝不会拒绝请求。该请求会一直等待槽位,直到获得处理。
默认配置是安全的,这也是为什么当服务器并未故障时,第二个用户会报告服务器“挂起”的原因。增加槽位只需修改两行配置。真正的难点在于内存。每个并行槽位都需要其专属的键值缓存(KV cache),即模型为已处理的 token 保留的内存块。如果在不增加 VRAM(GPU 显存)的情况下增加槽位,会导致原本缓慢的响应变成加载失败。在仅使用 CPU 的服务器上,相同的缓存会占用系统 RAM。
OLLAMA_NUM_PARALLEL、OLLAMA_MAX_QUEUE 和 OLLAMA_MAX_LOADED_MODELS 的控制范围
以下是截至 2026 年 10 月 Ollama 各版本的默认值。请勿直接采信此处数值,应通过下文所示的日志行核实你当前环境的配置。
OLLAMA_NUM_PARALLEL控制单个已加载模型同时处理的请求数量。默认值为 1,即请求按顺序逐个处理。OLLAMA_MAX_LOADED_MODELS控制同时驻留在内存中的不同模型数量。默认值为 0,此时 Ollama 会自动选择:每个 GPU 加载 3 个模型,无 GPU 的机器也加载 3 个。OLLAMA_MAX_QUEUE控制等待调度的请求队列长度,即等待模型加载的请求数。默认值为 512。当队列已满时,新到达的请求会被直接拒绝。对于已加载模型的请求,会跳过此队列并等待空闲槽位,该等待过程没有上限。Ollama 维护者已将此列为功能需求(issue #7758),截至 2026 年 10 月该需求仍处于开启状态。
最坏情况下的内存占用是前两个参数的乘积。若加载 2 个模型且每个模型分配 4 个槽位,则意味着同时有 8 个 KV 缓存槽位驻留,Ollama 会尝试满足此需求。在单 GPU 环境中,通常建议仅保留一个模型并为其分配槽位,因为这样更容易估算资源消耗。
为什么每个并行槽位都会占用 VRAM
当 Ollama 加载模型时,它会启动一个独立的运行进程。其中两个参数至关重要:-c 是运行进程为 KV 缓存分配的总上下文长度,-np 是并行序列的数量。Ollama 将 -c 设置为单次请求的上下文长度乘以槽位数量。随后,运行进程将该总容量平均分配给各个槽位,以确保每个请求仍能获得您设定的上下文长度。
这就是全部的约束条件,也是并行处理并非免费的原因。将槽位从 1 个增加到 4 个,意味着在相同的单次请求上下文长度下,KV 缓存的需求量变为原来的 4 倍。槽位之间不共享任何资源,空闲槽位的份额也不会借给繁忙的槽位,因为分配比例在运行进程启动时即已固定。在 GPU 上,这部分内存即为 VRAM。在仅使用 CPU 的服务器上,这部分内存为系统 RAM,且遵循相同的倍增逻辑。
您可以查看实际生效的数值,而非您预想设置的数值:
journalctl -u ollama --no-pager -n 500 | grep "starting llama-server"该行包含了完整的运行进程命令行,其中包括 -c 和 -np。如果您设置了变量后 -np 仍为 1,则有两种可能的原因。第一种是模型本身。无论您如何设置,Ollama 都会将某些模型架构限制为仅使用一个槽位,并在执行时记录 model architecture does not currently support parallel requests。截至 2026 年 10 月,该列表包括 Qwen 3.5、Qwen3-VL、Qwen3-Next、LFM2 和 Nemotron-H 系列,且嵌入模型始终仅占用一个槽位。运行 journalctl -u ollama --no-pager | grep "does not currently support parallel" 进行检查。如果该警告不存在,说明设置未生效,下一节将介绍原因。
如果模型权重加上 KV 缓存无法完全装入 VRAM,Ollama 会将部分层移至系统 RAM,并由 CPU 运行这些层。CPU 层的运行速度远低于 GPU 层,因此这会导致每个请求变慢,包括您最初发起的单个请求。因此,提高并行度反而可能降低吞吐量,而非提升它。对于足够大的模型,仅模型权重本身就决定了是否可行,无需进行任何槽位计算。这就是为什么 自托管 Kimi K3 规模的模型 讨论的核心在于您拥有多少张显卡,而不是您设置了多少个槽位。
ollama ps当模型完全装入显存时,PROCESSOR 列显示 100% GPU。类似 35%/65% CPU/GPU 的拆分状态意味着模型的一部分正在 CPU 上运行。SIZE 列包含了 KV 缓存,因此当您增加槽位数量并重新加载模型时,该数值会增加。调高 OLLAMA_NUM_PARALLEL,重启服务,发送一个请求,然后再次运行 ollama ps:这就是您所做更改带来的内存开销,这是测量值而非估算值。如果测量结果显示模型已无法装入,请记住模型权重占用了预算的另一半,而 从 fp16 切换到 q8 或 q4 版本 通常比增加一个槽位能释放更多的 VRAM。
上下文长度和槽位数量是相乘关系,因此必须同时考虑。4 个槽位的大上下文意味着 4 个大上下文。如果您同时还在调整 模型的 num_ctx 上下文窗口,请一次只修改其中一个参数,否则您将无法判断是哪一个参数导致显存溢出。
如何设置这些变量以使其在重启后生效
在 Linux 上,Ollama 作为 systemd 服务运行。在 shell 中运行 export OLLAMA_NUM_PARALLEL=4 无法生效,因为 systemd 使用其自身的独立环境启动服务,无法读取 shell 变量。请使用 drop-in 文件进行配置。
sudo systemctl edit ollama.service在打开的编辑器中添加以下内容:
[Service]
Environment="OLLAMA_NUM_PARALLEL=4"
Environment="OLLAMA_MAX_LOADED_MODELS=1"
Environment="OLLAMA_MAX_QUEUE=32"随后重新加载配置并重启服务:
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environmentsystemctl show 会输出 systemd 将传递给进程的环境变量。如果变量未显示,说明 drop-in 文件未保存或跳过了 daemon-reload。请同时从服务器端进行确认:
journalctl -u ollama --no-pager | grep "server config" | tail -1Ollama 在启动时会记录其完整环境,相关日志行的消息为 server config。该映射表显示了服务器实际读取到的配置,这是验证变量是否生效的最快方法。它显示的是你设置的值,而非特定模型实际占用的槽位数量。若要查看槽位数量,请查阅上方 runner 行中的 -np 值。
已加载的模型会保持启动时的槽位数量,因为该值在 runner 进程启动时已固定。上述重启操作会卸载所有模型,因此下一次请求会以新设置重新加载模型,并产生一次加载耗时。模型在此之后驻留内存的时长由另一项设置控制,详见 在请求间保持 Ollama 模型加载。
从客户端视角观察已服务、排队和被拒绝的状态
同时发送多个请求并进行计时。以下命令并行运行 8 个流式请求,并打印每个请求的状态和耗时:
for i in $(seq 1 8); do
curl -s -o /dev/null \
-w "req$i http=%{http_code} ttfb=%{time_starttransfer}s total=%{time_total}s\n" \
http://127.0.0.1:11434/api/generate \
-d '{"model":"llama3.2:3b","prompt":"Explain what a KV cache is.","stream":true}' &
done
waitttfb 是到达流式传输首字节的时间,这与首个 Token 时间(TTFT)接近,因为第一个流式分块中包含了第一个 Token。
并行服务。 每个请求报告的 ttfb 相近,且所有请求的 total 同时上升。GPU 在运行中的槽位间共享,因此每个回答的速度比单独运行时慢,但单位时间内完成的请求总数更多。当你调高 OLLAMA_NUM_PARALLEL 时,就是在选择这种运行模式。
排队。 前几个请求响应迅速,随后的请求显示出较长的 ttfb,随后是正常的生成过程。等待时间源于队列,而非模型本身。用户在聊天窗口中会看到长时间的空白停顿,随后文本以全速输出。这种“启动慢、生成快”的形态是队列拥塞的特征,而非 GPU 过载。
被拒绝。 客户端几乎会立即收到 http=503,响应体如下:
{"error":"server busy, please try again. maximum pending requests exceeded"}该消息表示请求到达时调度队列已满。这与 VRAM 或模型状态无关。在当前版本中,该队列仅存放尚未加载模型的请求。如果你在运行上述循环时模型已驻留内存,无论你将 OLLAMA_MAX_QUEUE 设置得多么低,所有请求都应返回 200。溢出情况会表现为更长的 ttfb。
一个客观的限制是:Ollama 不会发布队列深度。ollama ps 和 /api/ps 端点报告的是已加载的模型,而非正在等待的请求。因此,你需要从客户端侧通过监控首字节时间来衡量队列情况,或者在前端代理层统计 503 响应的数量。
为什么较小的 MAX_QUEUE 通常是更好的设置
512 的队列长度听起来很充裕,但在单槽位配置下几乎毫无用处。第 300 个请求需要排在 299 个已完成的生成任务之后,这至少需要几分钟时间。任何 HTTP 客户端都会在此之前放弃请求,导致调用方收到客户端超时错误,这既无法反映根本原因,也无法触发任何监控告警。
较小的队列会将溢出请求立即转换为 503 错误,但这仅限于那些正在等待模型加载的请求,例如重启后或模型切换期间出现的突发流量。截至 2026 年 10 月,针对已加载模型的请求会绕过 OLLAMA_MAX_QUEUE 并无限期等待空闲槽位。因此,在仅驻留一个模型的繁忙服务器上,调低队列长度并不会缩短等待时间。若要实现快速拒绝,请按照下一节所述,在 Ollama 前端限制并发。503 错误非常有用:反向代理可以重试请求,客户端可以执行退避策略,仪表盘可以统计错误,管理员也可以直接查看。请根据实际测量结果计算上限。如果一次生成大约需要 10 秒,而客户端等待时间为 60 秒,那么每个槽位在窗口期内大约能处理 6 个请求,超过此数量的等待只会导致超时。
何时需要在 Ollama 前部署队列
Ollama 内置的队列采用先进先出(FIFO)机制,且无法识别调用方身份。对于单应用连接单服务器的场景,这已足够,增加额外基础设施只会引入新的故障点。当出现以下情况时,应考虑在前端部署队列:
- 需要优先级控制。交互式聊天请求不应排在批量摘要任务之后。Ollama 的队列不支持优先级,因此必须在外部拦截批量任务并缓慢投递。
- 需要公平性。单个客户端可能会占用所有并发槽位,导致后续请求堆积。其他用户要么被迫等待,要么在请求需要加载模型时收到 503 错误。
- 需要限制等待时间。Ollama 会无限期地为已加载的模型保留请求,因此唯一的可靠限制必须在前端设置。
- 需要任务在重启后存续。队列驻留在服务器内存中。重启 Ollama 会导致所有等待中的请求丢失。
- 需要具备退避机制的可靠重试,并记录在案以便后续审计。
轻量级方案是使用反向代理。在 nginx 中,limit_conn 可限制并发连接数,limit_req 可限制每个客户端的请求速率,从而在代理层拒绝溢出流量,使其不会到达 Ollama。重量级方案是在工作进程前部署带有数据库的任务队列,由工作进程调用 Ollama;当请求必须在进程重启后存续时,应采用此方案。针对实际流量进行规模评估是一项专门的工作:规划支持并发用户的自托管 LLM 详细介绍了相关计算方法,而 在 VPS 上运行 Ollama 则涵盖了这些变量所依赖的基础安装配置。
何时应选择其他服务器
有一个上限,无法通过调整参数突破。模型加载时,Ollama 会将 KV 缓存划分为大小相同的固定槽位。空闲槽位的内存无法供繁忙槽位使用,而且不卸载模型就无法更改槽位数量。这种设计适合单个用户、小型团队或编码代理。
面向大量并发用户的服务器采用不同的方式。它们会按需以小页面分配 KV 缓存,并将新到达的请求加入已在运行的批处理中。因此,内存使用量会随实际需求变化,而不是按固定比例划分。如果目标是在一块 GPU 上支持大量并发用户,这种架构差异比 OLLAMA_NUM_PARALLEL 的任何取值都更重要。Ollama 与 vLLM 的比较正是进行这项判断的依据。不过,不要仅凭原则切换:其他服务器的运维工作更多;如果流量只有少数几个人,内置行为才是正确选择。
测量实际吞吐量和首个 token 延迟
公开的每秒生成 token 数来自其他人的 GPU、模型、量化设置和上下文长度。这些条件都不一定与你的环境相同。因此,阅读到的任何数值都只能作为粗略参考,应直接测量当前机器的性能。
Ollama 会在每次响应的最终 JSON 对象中返回计时信息。eval_count 表示生成的 token 数量,eval_duration 表示生成这些 token 所用的时间,单位为纳秒。
sudo apt install -y jq
curl -s http://127.0.0.1:11434/api/generate \
-d '{"model":"llama3.2:3b","prompt":"Explain what a KV cache is.","stream":false}' \
| jq '{prompt_eval_count, eval_count, eval_duration, tokens_per_second: (.eval_count / (.eval_duration / 1000000000))}'先使用一个 slot 运行一次,再使用你实际预计的并发数运行一次,然后比较两个决定用户体验的指标:首个 token 延迟,以及每个请求的每秒 token 数。增加 slot 后,单个请求的吞吐量总会下降。需要判断的是,下降幅度是否超过用户可以接受的范围。测量本地 LLM 的每秒 token 数更详细地介绍了具体方法,包括如何在多次运行之间保持 prompt 不变。
面向公网且队列冗余的端点是拒绝服务攻击的目标
设置 OLLAMA_HOST=0.0.0.0:11434 会使 API 监听所有网络接口,而 Ollama 本身不具备身份验证功能。在默认队列配置下,开放的端点会接收最多 512 个等待加载模型的请求,任何发现该端点的人均可发起请求。对于已加载的模型,它会挂起所有连接的请求,且没有上限。攻击者无需登录、无需付费,只需发送长提示词,即可通过这种方式耗尽服务器资源,且几乎零成本。这会导致您的合法用户收到 503 错误或面临长时间等待,而服务器则始终处于高负载状态。
请将监听地址保持在回环接口(loopback),并通过 SSH 隧道或私有网络访问,或者在前端部署身份验证和速率限制。保护 Ollama API 端点 涵盖了这两种方案。完成上述配置后再调整队列长度,因为队列长度仅是容量设置,无法起到防护作用。
FAQ
为什么我的第二个 Ollama 请求必须等第一个完成后才开始?
因为 OLLAMA_NUM_PARALLEL 的默认值为 1,所以已加载的模型一次只能处理一个请求,其余请求按顺序排队。等待中的请求会保持 HTTP 连接打开,在空闲槽位出现前不会发送任何字节,这在客户端看来与模型运行缓慢的表现一致。判断依据是响应时间特征:如果出现长时间停顿后文本全速输出,说明是在排队;如果从第一个 token 开始就缓慢输出,说明是模型运行慢。通过 systemd 的 drop-in 文件调大槽位数量并重启服务。随后检查运行行中的 -np 数值,因为某些模型架构无论如何设置,都强制限制为 1 个槽位。
“server busy, please try again. maximum pending requests exceeded” 是什么意思?
这是 Ollama 的队列溢出错误,返回 HTTP 状态码 503。等待调度的请求数量(即等待模型加载的请求)达到了 OLLAMA_MAX_QUEUE(默认值为 512),因此最新的请求被拒绝,未进入队列。针对已加载模型的请求不计入此限制。该错误通常出现在启动时的流量高峰或模型切换期间。这不是内存错误,也不是模型错误。调大队列上限只会让调用者在被拒绝前等待更久,因此真正的解决方法是:如果有足够的 VRAM,则增加槽位数量;或者减少并发负载;或者在前端部署一个支持重试和优先级排序的队列。
调大 OLLAMA_NUM_PARALLEL 能让 Ollama 变快吗?
不能。它允许更多请求同时运行,但由于它们共享同一个 GPU,每个请求的速度都会比单独运行时慢。此外,这会成倍增加 KV 缓存,因为 Ollama 启动运行器时,总上下文大小为“上下文长度 × 槽位数量”。如果结果超出了 VRAM 容量,Ollama 会将层卸载到 CPU,导致所有请求(包括单请求)变慢。修改后请检查 ollama ps,并确认 PROCESSOR 列显示为 100% GPU。
修改这些变量后需要重启 Ollama 吗?
需要。服务器在启动时读取这些变量,且正在运行的模型会锁定启动时分配的槽位数量。使用 sudo systemctl edit ollama.service 编辑 drop-in 文件,然后运行 sudo systemctl daemon-reload 和 sudo systemctl restart ollama。使用 systemctl show ollama --property=Environment 进行确认,并检查 journalctl -u ollama 中的 server config 行,该行列出了服务器实际加载的环境变量。
我应该设置多少个并行槽位?
从 1 开始,每次增加一个。每调整一次,重启 Ollama,发送一个请求以加载模型,然后运行 ollama ps。在 PROCESSOR 仍显示为 100% GPU 且 SIZE 列为最长上下文留有余量的前提下,停在最后一个数值。之后在实际并发负载下测量首个 token 的响应时间和每秒 token 数,如果单请求速度低于用户可接受的范围,则调回一级。