SSD Nodes Learn Hosting plans →
指南 Matt Connor作者: Matt Connor

如何让 Ollama 模型常驻内存

Ollama 默认空闲 5 分钟后卸载模型,下一次请求会等待重新加载。通过 systemd override 设置 OLLAMA_KEEP_ALIVE,并在重启后预加载模型。

为什么 Ollama 会在几分钟后卸载模型?

Ollama 会在上一次请求完成后将模型保留在内存中 5 分钟,随后释放模型。下一次请求必须再次将权重加载到 RAM 或 VRAM 中,因此在第一个 token 到达前会出现停顿。这就是聊天界面或编码代理刚开始响应很快,空闲一段时间后,再发送下一条消息却又变慢的原因。系统没有故障,只是空闲计时器已到期。

该计时器称为 keep_alive。它按模型分别计时,并在每次请求完成时重新计时。正在处理请求的模型不会被卸载,因为服务器只会卸载当前没有活动请求的模型。截至 2026 年 10 月,默认值为 5 分钟,并适用于此服务器加载的每个模型。

有两个位置可以设置空闲超时:单个请求中的 keep_alive 字段,或作为服务器默认值的 OLLAMA_KEEP_ALIVE。使用 systemd drop-in 才能让服务器默认值在重启后保持不变。本指南假设 Ollama 已作为服务运行。如果尚未运行,请先阅读在 VPS 上安装 Ollama,然后返回本指南。

当前有哪些模型驻留,以及何时过期?

ollama ps
NAME        ID              SIZE      PROCESSOR    CONTEXT    UNTIL
qwen3:8b    500a1f067a9f    6.6 GB    100% GPU     4096       4 minutes from now

输出为空表示没有加载任何模型,因此下一个请求必须先加载模型。PROCESSOR 会显示权重存放的位置。100% GPU 和 100% CPU 表示完整加载。类似 25%/75% CPU/GPU 的拆分表示模型只有一部分位于 VRAM 中,其余部分在处理器上运行,因此生成速度更慢。通常这是因为模型无法完全装入显存,但限制发送到 GPU 的层数的 num_gpu 设置也会产生相同类型的拆分。

UNTIL 是倒计时,会输出类似 4 minutes from now 的相对时间。如果模型加载时使用了负数 keep_alive,则会输出 Forever。模型过期后会输出 Stopping...,包括活动请求延迟卸载期间。

不同版本的列集合可能不同,因此应读取表头,不要在脚本中通过计算字段数量来处理。Ollama v0.40.5 在 2026-10-30 检查时,还会在 CONTEXT 和 UNTIL 之间输出 RUNNER 列,用于标识为模型提供服务的 runner,因此您的表头可能比上面的示例多一列。对于自动化处理,请请求 API:

curl -s http://localhost:11434/api/ps

每个条目都包含 expires_at(绝对时间戳,例如 2026-08-09T14:38:31.83753Z)以及 size_vram,表示该模型中位于 GPU 内存的部分。size_vram 为 0 表示模型在 CPU 上运行。

实际重新加载的成本

不要凭猜测判断。Ollama 会在每个响应中报告加载时间,字段为 load_duration,单位是纳秒。

sudo apt install -y jq
ollama stop qwen3:8b
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'

运行两次 API 调用前,先等待 ollama ps 在执行 ollama stop 后不再列出该模型。第一次调用会加载模型,因此其 load_duration 较大。将该值除以 1000000000,即可换算为秒。第二次调用会在模型驻留内存期间执行,并报告小得多的数值。这两个数值之间的差值,就是计时器到期后每个用户都要承担的等待时间,也是需要修改 keep_alive 的根本原因。卸载模型后,内核的页缓存通常仍会保留模型文件。因此,在有空闲 RAM 的服务器上,重新加载可能比系统启动后的首次加载更快。缓存被回收后,权重需要从磁盘读取。因此,如果您已将模型目录移动到第二个卷,该卷的速度就决定了每次冷加载的最低耗时。有关暂停前后生成速度的测量方法,请参阅如何在自己的服务器上测量每秒生成的 token 数。

在单次请求中将 Ollama 模型保留在内存中

在请求中发送 keep_alive。请求完成后,该设置会对这个模型生效。

curl -s http://localhost:11434/api/chat -d '{
  "model": "qwen3:8b",
  "messages": [{"role": "user", "content": "hello"}],
  "keep_alive": "30m"
}'

支持以下 4 种值形式:

  • 时长字符串:"30m"、"24h"、"90s"
  • 普通数字,按秒读取:3600
  • 负值,例如 -1 或 "-1m",表示完全不设置空闲超时
  • 0,表示模型没有活动请求后立即卸载

请求中的值会覆盖服务器默认值,且两个方向都适用。这一点比看起来更重要:客户端发送的 keep_alive 会覆盖服务器上的任何配置。

您也可以只加载模型而不生成任何内容。仅发送模型名称即可。服务器会加载该模型,并返回带有 "done": true 的空响应。

curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "keep_alive": "30m"}'

重启后或拉取新模型后,应运行该命令。这样,首个实际用户请求就不必等待模型加载。CLI 可通过标志执行相同操作:

ollama run --keepalive 30m qwen3:8b "hello"

使用 OLLAMA_KEEP_ALIVE 默认保持模型加载

服务器启动时读取 OLLAMA_KEEP_ALIVE,并将其用于所有未单独设置该值的模型。它支持与请求字段相同的格式,因此 30m、3600 和 -1 均可使用。

关键在于该环境变量必须设置在哪个环境中。在 SSH 会话中运行 export OLLAMA_KEEP_ALIVE=30m 不会产生任何效果,因为通过软件包安装的服务会以独立用户身份作为 systemd 服务运行,并使用自己的环境变量。您的登录 shell 与该服务互不相通。这是该设置看似未生效的最常见原因。

通过 systemd drop-in 让设置在重启后保留

sudo systemctl edit ollama.service

编辑器打开后会显示两个注释标记。在这两个标记之间输入内容:systemd 会丢弃第二个标记下方的所有内容。

[Service]
Environment="OLLAMA_KEEP_ALIVE=30m"

保存后会写入 /etc/systemd/system/ollama.service.d/override.conf。这是 drop-in,而不是修改已发布的单元文件,因此 Ollama 软件包升级并替换 ollama.service 时,不会覆盖你的设置。如果你不熟悉 drop-in 和单元文件,请参阅systemd 服务和计时器指南,了解相关机制。

sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment

最后一条命令会输出服务实际运行时使用的环境。如果该行中缺少 OLLAMA_KEEP_ALIVE=30m,说明 drop-in 未生效。原因通常是缺少 [Service] 标头,或将内容输入到了标记下方。重启会卸载所有已加载的模型,因此下一个请求需要重新冷加载。使用上面的预加载调用完成预热。drop-in 会在系统重启后保留该设置,但不会保留模型:服务启动时 ollama serve 不会加载任何模型,因此每次启动后都要运行相同的预加载调用。

保持模型驻留的成本

ollama ps 中的 SIZE 列表示整个空闲窗口期间占用的内存,而不只是在处理请求时占用的内存。采用 4-bit 量化的 8B 模型通常占用约 5 到 6 GB。27B 模型的情况完全不同,在决定让它保持驻留之前,值得先计算 仅使用 CPU 的 VPS 运行该模型所需的内存。将 keep_alive 设置为 -1 会禁用空闲过期;之后对同一模型的请求可能会替换其超时时间,或在运行器选项变化时强制重新加载。在小型 VPS 上,这会直接占用数据库、Web 应用和构建任务所需的资源。

请查看实际数值,不要只相信估算值。模型加载后运行一次,等待 ollama stop 后再运行一次:

free -h

available 列表示内核仍可分配给新进程的内存。在 NVIDIA GPU 主机上,nvidia-smi 反映的是相同的问题,只不过对应的是显存。如果主机耗尽资源,内核会终止某个进程以回收资源:

sudo dmesg -T | grep -i "out of memory"

如果某一行列出 ollama,说明模型服务器被终止了。如果某一行列出数据库,说明模型进程得以保留,而你关心的其他服务被终止了。这两种结果都源于同一个决定:在没有资源余量的主机上设置较长的保持活动窗口。

这里有两个容易忽略的成本。更长的上下文长度会预留更大的 KV 缓存(key value cache,即模型生成内容时为每个 token 保留的注意力状态),该缓存也属于驻留内存的一部分。其大小取决于 num_ctx,因此 提高上下文窗口 会增加模型在整个空闲期间占用的内存,而不只是在模型回答时增加。OLLAMA_NUM_PARALLEL 大于 1 时,如果模型支持并行处理,则会为每个并行槽位预留一份缓存。Ollama v0.40.16 会对不支持 completion 能力的模型强制使用 1 个并行槽位,其中包括 embedding 模型;其调度器不再单独处理 mllama 或 qwen3next。如果计划 让一个模型为多名用户提供服务,应按槽位计算内存,而不能只按模型权重计算。

一个合理的默认设置是:主机有足够资源余量时,让一个模型使用 -1。共享主机应使用覆盖请求间隔的窗口,例如 30m,这样停止工作后,内存就会释放。

立即卸载模型

ollama stop qwen3:8b

请求模型过期后,命令会无输出返回;卸载会等待活动请求完成,因此命令返回时内存可能尚未释放。对于已拉取但当前未加载的模型,命令同样会无输出返回。该命令不会检查哪些模型当前驻留在内存中:它只发送卸载请求,服务器无论内存中是否有该模型,都会返回成功。只有在服务器上未安装同名模型时,才会出现错误 couldn't find model "qwen3:8b" to stop;这通常表示模型名称或标签拼写错误。因此,静默返回的 ollama stop 不能证明任何内存已被释放。ollama ps 才能证明。API 形式是不提供提示词的请求,并将 keep_alive 设置为 0:

curl -s http://localhost:11434/api/chat -d '{"model": "qwen3:8b", "messages": [], "keep_alive": 0}'

响应中包含 "done_reason": "unload"。请使用此方法,而不要重启服务。systemctl restart ollama 也会释放内存,但会卸载其他所有已加载的模型,并终止正在运行的请求。

在一台服务器上运行多个模型

OLLAMA_MAX_LOADED_MODELS限制同时保持加载状态的模型数量。截至2026年10月,默认值是每个 GPU 3 个模型;仅使用 CPU 的服务器默认也是 3 个。该限制统计的是模型数量,但真正的限制是内存。因此,第二个大型模型可能在达到 3 个之前很久就因内存不足而无法加载。

请求加载新模型时,如果没有足够的内存,或已达到该限制,调度器会卸载一个已驻留的模型以释放空间。调度器优先选择没有活动请求的模型。即使某个模型的计时器尚未到期,调度器也可能将其逐出,包括使用 -1 加载的模型,但会先尝试处理时间窗口较短的模型。因此,负的 keep_alive 表示不设置空闲超时。它不会为了其他模型的请求而固定保留模型权重。

这些决策会记录在服务日志中,但达到模型数量限制的情况只会以 debug 级别记录。向同一个 drop-in 文件再添加一行 Environment="OLLAMA_DEBUG=1",重启服务,然后监控日志:

sudo journalctl -u ollama -f

查看触发卸载的请求旁边记录的原因。max runners achieved, unloading one to make room 表示已达到 OLLAMA_MAX_LOADED_MODELS 限制。即使两个模型的内存占用之和不超过可用内存,也可能发生这种情况;如果 free -h 显示仍有余量,请提高该限制。若日志先显示新模型预计会超过可用内存,随后又显示发生了逐出,说明调度器的适配检查认为在当前内存余量下无法同时加载这些模型。此时应减少这台服务器上的模型数量,或为必须快速响应的模型设置较长的窗口,并为很少调用的模型使用 0。

可持续到下一版本的指导

Ollama 经常发布新版本,默认值也会变化。因此,应检查当前使用的构建版本,而不要死记数值:

ollama --version
ollama serve --help

ollama serve --help 会列出该构建实际读取的环境变量,其中包括 OLLAMA_KEEP_ALIVE。有两条规则在各版本中都成立,可以放心据此配置。请求中的值优先于服务器默认值。无论配置文件声明应加载什么,ollama ps 才是实际加载内容的依据。

如果编辑器或代理驱动您的服务器,请先检查客户端发送的内容,再判断是否是服务器的问题。将编码代理指向您自己的 Ollama 服务器介绍了这些请求设置的位置。

FAQ

Ollama 为什么会在 5 分钟后卸载模型?

5 分钟是默认的 keep_alive,即 Ollama 在请求完成后启动的空闲计时器。计时器到期后,服务器会释放模型权重,因此下一个请求必须重新加载模型,这次重新加载就是您感受到的暂停。向 JSON 请求体中发送 "keep_alive": "30m",可以为单个请求延长该时间;设置 OLLAMA_KEEP_ALIVE 环境变量,则可以为整个服务器延长该时间。

如何让 Ollama 模型永久保留在内存中?

使用负值:在请求中设置 "keep_alive": -1,或为服务器设置 OLLAMA_KEEP_ALIVE=-1。此时 ollama ps 会在 UNTIL 列中显示 Forever。这只会移除空闲计时器,不会产生其他影响。如果请求另一个模型时内存不足,调度器仍会卸载此模型以释放空间。之后对同一模型的请求也可能替换其超时设置,或者在运行器选项发生变化时触发重新加载。重启服务或系统也会清除该设置,因此之后需要重新预加载模型。

为什么会忽略 OLLAMA_KEEP_ALIVE?

检查您设置该变量的位置。运行 systemctl show ollama --property=Environment;如果输出中没有该变量,说明服务器从未获取到它,因为在 shell 中导出的变量不会传递给 systemd 服务。使用 sudo systemctl edit ollama.service 设置变量,然后运行 sudo systemctl daemon-reload 和 sudo systemctl restart ollama。另一种原因是客户端在请求中自行发送了 keep_alive,从而覆盖服务器默认值。

如何在不重启 Ollama 的情况下释放内存?

ollama stop qwen3:8b 会请求卸载单个模型,并让服务器及其他已加载模型继续运行。必须等活动请求完成后,模型才会卸载。通过 API 发送不包含提示词且带有 "keep_alive": 0 的请求,响应会返回 "done_reason": "unload"。使用 ollama ps 确认;卸载完成后,模型不应再出现在列表中。

这篇文章对您有帮助吗?